Training Data训练数据

喂给模型学习的原始数据，预训练阶段通常是从互联网爬取的海量文本（万亿级 Token）。训练数据的质量、多样性和规模直接决定了模型能力的上限。"数据是新石油"这句话在大模型时代比以往任何时候都更真实。