llama.cpp

让大模型在普通电脑甚至手机上跑起来的项目

C/C++ 实现、极致优化,本地部署圈的基础设施。

相关词