vLLM

高性能大模型服务器,很多 AI 产品后台在用

靠 PagedAttention 大幅提升吞吐,是生产环境部署的主力。

相关词