Golden Set黄金测试集

一组经过严格人工审核的标准答案数据,用来衡量模型好不好。

一组经过严格人工审核的标准答案数据,用来衡量模型好不好。就像考试的"标准答案"。每次模型迭代后都跑一遍 Golden Set,看看分数涨没涨、有没有退步。

什么时候会用到

讨论模型评测、版本迭代、上线标准时会用。

例句

  • 新模型在 Golden Set 上准确率掉了 2 个点,不能上线,先排查原因。