Deduplication去重 去除训练数据中的重复内容。 去除训练数据中的重复内容。重复数据太多会让模型"死记硬背"而非学到通用规律。 什么时候会用到讨论数据质量、模型输出单一化时会用。 例句 模型对某个问题的回答每次一模一样，怀疑训练数据里这条重复了几百遍。 相关词 训练数据训练