Data Cleaning数据清洗

去掉训练数据里的噪音、重复、低质量内容、有毒内容、个人隐私信息等。

去掉训练数据里的噪音、重复、低质量内容、有毒内容、个人隐私信息等。数据清洗往往占整个数据准备工作量的 60-80%。

什么时候会用到

讨论数据准备、模型效果差的排查时会用。

例句

  • 模型老是输出奇怪的格式,一查发现是训练数据没清洗干净,混了一堆 HTML 标签。

相关词