Contamination数据污染

评测数据被混进了训练数据,导致模型在 Benchmark 上的分数虚高——相当于考试前偷看了答案。

评测数据被混进了训练数据,导致模型在 Benchmark 上的分数虚高——相当于考试前偷看了答案。这是行业里的灰色地带,很多模型的高分被质疑存在污染问题。

什么时候会用到

讨论评测可信度、模型选型时会用。

例句

  • 它 MMLU 分数比 GPT-4 还高?先查查有没有数据污染吧。

相关词