参数

可以把参数想象成数百万甚至数千亿个旋钮，每个旋钮在训练过程中都会被微调，直到模型更擅长预测接下来的文本。单个旋钮本身并没有什么意义，模型的行为是所有旋钮共同作用后涌现出来的。长期以来，参数量一直被当作衡量模型潜在学习和记忆能力的一个粗略指标。

但"参数越多、模型越好"早已不再是可靠的经验法则。混合专家(MoE)、量化、蒸馏等技术，如今已经能让更小、更便宜的模型在实际任务上追平甚至超越体量大得多的模型——而这正是"行业资本支出是否已经跑在了底层技术真实需求前面"这场争论中，双方都会援引的那种效率提升。