Post-training后训练

预训练之后所有训练步骤的统称,包括 SFT、RLHF/DPO 等。

预训练之后所有训练步骤的统称,包括 SFT、RLHF/DPO 等。后训练决定了模型"好不好用"——同一个基座模型,后训练做得好坏,产品体验天差地别。

什么时候会用到

讨论模型能力差异来源、模型版本迭代时会用。

例句

  • 这两个模型基座一样,差距全在后训练。他们的标注数据比我们好太多了。

相关词