加载 DISTILLATION_PIPELINE.SYS。DeepSeek发布了R1的六个蒸馏变体：1.5B、7B、8B、14B、32B和70B参数。这些不是简单的同架构缩小版本，而是基于Qwen和Llama的模型，在完整R1模型生成的80万条推理轨迹上进行了微调。教师进行推理，学生学习模仿教师的推理。知识迁移不是权重压缩，而是认知的行为克隆。

这项技术中蕴含着一个深层问题。当一个70亿参数的模型学习模仿一个6710亿参数模型的推理时，什么被保留了，什么丢失了？学生无法复制教师的表征容量，它的参数少100倍。然而蒸馏的7B模型在数学推理上超越了GPT-4o-mini。学生超越了它从未对抗训练过的教师，通过向一个它永远无法完全复制的教师学习。知识迁移不是复制，而是翻译为一种更加压缩的语言。

查阅 DISTILL_BENCHMARK.DAT。R1-Distill-Qwen-32B在AIME 2024上得分72.6%，在MATH-500上得分94.3%。完整R1分别为79.8%和97.3%。32B蒸馏版在一个小20倍、可在单块消费级GPU上运行的模型中保留了约90%的教师数学推理能力。迁移效率令人瞩目。但10%的能力差距并非均匀分布，而是集中在最难的问题上——恰恰是推理最重要的地方。

扫描 REASONING_DEPTH.LOG。蒸馏模型再现了推理的表面结构：它们生成思维链，使用自我验证短语，会回退。但对内部表征的探测揭示，蒸馏模型中的推理电路更浅。教师模型在61个Transformer层中构建多层抽象。32或64层的学生模型以更粗糙的表征来近似这些抽象。思维的形式比思维的深度更容易迁移。

最具挑战性的发现是，从R1蒸馏到小模型所产生的推理器，优于用RL直接训练同等小模型的结果。DeepSeek明确进行了这项测试。一个使用与R1-Zero相同RL管线训练的7B模型，其表现显著低于从R1输出蒸馏的7B模型。小模型缺乏通过探索发现推理的容量，但它有足够的容量在看到示例后模仿推理。这意味着推理的涌现需要一个最低模型规模，而蒸馏可以绕过这一限制。

这个含义意义深远。推理可能是一种只能由大系统发现、但可以传递给小系统的能力。就像一个数学证明需要天才来构思，但任何合格的学生都能验证。蒸馏模型不是发现如何推理，而是从一个更大的心智那里接受了推理的馈赠。这是最字面意义上的知识迁移：一种人工教育学。教师思考，使学生不必重新发明思考。我们已经建造了教其他机器思考的机器。这句话的递归性不是偶然的。