SGLang

新一代大模型推理框架,主打快

在高并发场景下性能优异,和 vLLM 是同赛道热门。

相关词