Synthetic Data合成数据 用AI模型生成的训练数据,而不是从真实世界收集的。 用AI模型生成的训练数据,而不是从真实世界收集的。比如用 GPT-4 生成几万条问答对来训练自己的小模型。优点是便宜、量大、可控;缺点是可能引入偏差和"模型近亲繁殖"(Model Collapse)问题。 什么时候会用到讨论训练数据不足、标注成本太高的解决方案时会用。 例句 真实标注数据太贵了,先用合成数据做一版,效果差不多就上线。合成数据用多了模型会'近亲繁殖',输出越来越同质化。 相关词 训练数据训练Model