Inference Cost推理成本 模型每处理一次请求的计算成本,包括 GPU 算力费用。 模型每处理一次请求的计算成本,包括 GPU 算力费用。推理成本直接吃掉毛利——如果每次请求成本 5 分钱但只收用户 3 分钱,卖得越多亏得越多。 什么时候会用到讨论毛利率、降本策略、模型选型时会用。 例句 把简单问题分流到小模型处理,复杂问题才用大模型,推理成本能降 60%。 相关词 GPU推理算力