Model Router模型路由
根据请求的复杂度和类型,自动分配到不同的模型处理。
根据请求的复杂度和类型,自动分配到不同的模型处理。简单问题("今天星期几")用小模型、复杂问题("帮我分析这份财报")用大模型。既省钱又保质量。
什么时候会用到
讨论成本优化、多模型架构时会用。
例句
- 上了模型路由之后,70% 的简单请求分流到 7B 小模型,推理成本直降 60%。
根据请求的复杂度和类型,自动分配到不同的模型处理。
根据请求的复杂度和类型,自动分配到不同的模型处理。简单问题("今天星期几")用小模型、复杂问题("帮我分析这份财报")用大模型。既省钱又保质量。
讨论成本优化、多模型架构时会用。