MAE AI 术语词典

A

对不同版本的 Prompt 做对照实验，用真实用户流量测哪个版本效果更好。

对不同版本的 Prompt 做对照实验，用真实用户流量测哪个版本效果更好。和传统产品的 A/B 测试逻辑一样，但测试对象从 UI 变成了 Prompt。

什么时候会用到

讨论 Prompt 优化、效果提升时会用。

例句

  • 新 Prompt 在离线 Eval 上好 5 个点，但线上 A/B 测试结果要等一周。