Pre-training预训练

大模型训练的第一阶段，让模型读完互联网上几乎所有的文本，学会语言的基本规律、世界知识和推理模式。这个阶段不教模型"怎么回答问题"，只让它学会"语言是怎么运作的"。烧钱最狠的阶段，一次预训练可能花费数千万美元。