Model Router模型路由

根据请求的复杂度和类型,自动分配到不同的模型处理。

根据请求的复杂度和类型,自动分配到不同的模型处理。简单问题("今天星期几")用小模型、复杂问题("帮我分析这份财报")用大模型。既省钱又保质量。

什么时候会用到

讨论成本优化、多模型架构时会用。

例句

  • 上了模型路由之后,70% 的简单请求分流到 7B 小模型,推理成本直降 60%。

相关词