Model Serving 把训练好的模型部署成可以在线调用的服务。 把训练好的模型部署成可以在线调用的服务。包括模型加载、请求分发、GPU 资源管理、负载均衡、弹性伸缩等一系列工程问题。 什么时候会用到讨论部署架构、运维时会用。 例句 模型训练完了但 Serving 还没搭好，线上还跑不起来。 相关词 GPU训练