Data Cleaning数据清洗 去掉训练数据里的噪音、重复、低质量内容、有毒内容、个人隐私信息等。 去掉训练数据里的噪音、重复、低质量内容、有毒内容、个人隐私信息等。数据清洗往往占整个数据准备工作量的 60-80%。 什么时候会用到讨论数据准备、模型效果差的排查时会用。 例句 模型老是输出奇怪的格式,一查发现是训练数据没清洗干净,混了一堆 HTML 标签。 相关词 训练数据有毒内容训练