GPU 跑大模型的核心硬件。 跑大模型的核心硬件。GPU(图形处理器,NVIDIA 主导)是目前大模型训练和推理的标配,TPU 是 Google 自研的专用芯片。GPU 成本通常占AI公司运营成本的 50% 以上。 什么时候会用到讨论成本结构、硬件选型时会用。 例句 一张 H100 一年租金 20 多万,我们需要 64 张来跑推理,光 GPU 成本就上千万。 相关词 大模型推理训练