GPU

跑大模型的核心硬件。

跑大模型的核心硬件。GPU(图形处理器,NVIDIA 主导)是目前大模型训练和推理的标配,TPU 是 Google 自研的专用芯片。GPU 成本通常占AI公司运营成本的 50% 以上。

什么时候会用到

讨论成本结构、硬件选型时会用。

例句

  • 一张 H100 一年租金 20 多万,我们需要 64 张来跑推理,光 GPU 成本就上千万。

相关词