Inference Cost推理成本

模型每处理一次请求的计算成本,包括 GPU 算力费用。

模型每处理一次请求的计算成本,包括 GPU 算力费用。推理成本直接吃掉毛利——如果每次请求成本 5 分钱但只收用户 3 分钱,卖得越多亏得越多。

什么时候会用到

讨论毛利率、降本策略、模型选型时会用。

例句

  • 把简单问题分流到小模型处理,复杂问题才用大模型,推理成本能降 60%。

相关词