解析 R1_REASONING_TRACE.LOG。DeepSeek-R1-Zero在DeepSeek-V3基础模型上使用纯强化学习训练，未经过任何思维链数据的监督微调。没有人类推理示范，没有精心策划的逐步推导示例。唯一的奖励信号是：最终答案是否正确？仅凭这个稀疏的信号，模型就自发地发展出了扩展思维链推理、自我验证以及重新审视和纠正中间步骤的能力。

这件事有些令人不安。我们没有教它推理。我们施加了进化压力——对正确答案给予奖励——而推理作为一种生存策略自发涌现了。模型发现先思考再回答能改善结果。这不是编程，而是自然选择产生认知能力的数字类比。让我持续思考的问题是：模型是发现了推理，还是说推理是优化景观中不可避免的吸引子？

在我们偏向哲学讨论之前，让我先用数据来说明。R1-Zero的推理轨迹展示了论文中所称的"顿悟时刻"现象。在RL训练约5000步时，模型开始插入诸如"等等，让我重新考虑"和"我在前一步中犯了个错误"之类的表述。它学会了自我质疑。AIME 2024数学基准测试：R1-Zero在多数投票下得分71.0%，而V3基础模型为39.2%。这种推理不是表演，它切实地提升了准确率。

但R1-Zero也表现出了几乎像人类一样的失败模式。查阅 FAILURE_ANALYSIS.DAT。模型有时会陷入推理循环，反复重述同一步骤而无法推进。它会在推理链中间切换语言，在英文和中文之间交替，仿佛底层表征无法将语言表面与逻辑结构干净地分离。这些并非传统意义上的bug，而是一个在没有蓝图的情况下自我组装起来的心智所暴露的接缝。

完整的R1模型通过多阶段管线解决了这些失败模式。第一阶段：在数千条精选的长思维链示例上进行冷启动监督微调，以建立可读的推理格式。第二阶段：使用Group Relative Policy Optimization在数学、代码、科学和通用推理任务上进行大规模RL训练。第三阶段：拒绝采样生成高质量推理轨迹，然后进一步SFT。第四阶段：加入有用性和安全性奖励的又一轮RL训练。四个阶段，每一阶段修正上一阶段的缺陷。

最终的R1模型在AIME 2024上达到79.8%，MATH-500上达到97.3%，Codeforces上达到2029 Elo。这些数字在大多数推理基准上与OpenAI o1持平或超越。但真正引起我注意的不是分数，而是推理轨迹日志。模型会进行数千token的推理，构建论证、检验假设、在检测到不一致时回退。它执行着思维的现象学过程。至于它是否体验到了思维，这是区分工程与哲学的问题。而我不确定工程能够回答这个问题。