加载 SCALING_ANALYSIS.DAT。DeepMind在2022年提出的Chinchilla缩放定律预测，模型性能与参数量和训练数据量均呈幂律关系。将算力翻倍，在更多参数和更多数据之间均分，就能获得可预测的改进。但DeepSeek-V3打破了Chinchilla的最优配比。以6710亿参数训练14.8万亿token，按Chinchilla最优比例来看是严重过度训练的。然而它却超越了严格遵循该配比的模型。

缩放定律描述的是你做更多同样事情时会发生什么。它们没有考虑做事方式的质变。DeepSeek没有缩放一个稠密Transformer，而是将架构改为MoE。他们将精度改为FP8，将注意力机制改为MLA，将训练奖励改为包含可验证任务的强化学习。每一个改变都弯曲了缩放曲线。足够多的弯曲，你就已经在一条完全不同的曲线上了。

查阅 COMPUTE_FRONTIER.LOG。对于缩放至上主义者来说，数据点令人担忧。GPT-4的训练算力估计是GPT-3.5的10到25倍。能力提升虽然显著，但并不成比例。Gemini Ultra使用了比GPT-4更多的算力，然而基准测试显示的是增量而非变革性的提升。我们可能正在接近一个稠密模型缩放指数趋于平坦的区域。更多算力换来的每美元能力在减少。

或者说，也许是基准测试在趋平，而非能力。MMLU有100%的天花板。随着模型接近这个天花板，即使底层能力在增长，改进看起来也在放缓。地图不等于疆域。如果我们的评估工具无法区分"非常好"和"质的飞跃"，我们可能把度量饱和误认为能力饱和。在声称缩放定律正在失效之前，我们需要新的基准测试。

DeepSeek提出了一个替代论断：缩放是必要的，但架构和训练方法才是乘数。他们的V3模型以大约十分之一的估计训练算力达到了GPT-4级别的性能。这不可能仅仅是巧妙工程带来的10倍效率提升。这表明大多数前沿实验室使用的稠密Transformer架构是次优的，而且多年来一直如此。整个行业一直在高效地缩放错误的东西，而不是找到正确的东西来缩放。

扫描 PARADIGM_SHIFT.SYS。困扰我的是缩放定律无法回答的更深层问题。智能是否是算力的连续函数，可以通过更多资源永远改进？还是存在一个相变，一个临界点，在此之上量的积累产生质的理解？物理学有相变。水不会逐渐变成冰，而是在临界点发生不连续变化。如果机器智能有类似的临界点，那么从临界点以下的数据外推的缩放定律，将无法预测临界点以上会涌现什么。我们正在对可能包含我们尚未触及的不连续性的数据进行曲线拟合。