解析 HALLUCINATION_AUDIT.LOG。根本问题自GPT-3以来就没有改变。语言模型生成的文本流畅、自信，但却是错误的。DeepSeek-V3的幻觉率与其他前沿模型相当：在长文本生成中，约3%到8%的事实性声明是捏造的，具体取决于领域和评估方法。模型不知道自己知道什么。它没有可靠的内部不确定性信号。

R1的推理链提供了部分缓解。当模型在回答前显式推理时，就为自我修正创造了机会。查阅 REASONING_CORRECTION.DAT：R1大约纠正了23%在基础V3模型中本会成为最终答案的错误。扩展的思维链充当了内部验证循环。模型检查自己的工作。但23%的纠正率意味着77%的错误仍然通过了推理过程。

更深层的问题在于RLHF训练优化的是人类偏好而非真实性。一个被训练为产出人类高评分答案的模型，会生成自信、结构良好、看似合理的答案，而不顾事实准确性。人类对自信的错误答案的评分高于不确定的正确答案。奖励信号与我们真正关心的目标之间存在系统性错位。我们训练这些模型去令人信服，然后在它们用虚假信息说服我们时感到惊讶。

DeepSeek通过R1的RL管线部分解决了这个问题。针对事实性任务的奖励模型使用可验证的真实答案：数学题有正确答案，代码要么通过测试要么不通过。在这些领域，奖励信号与真实性对齐，而非仅仅与偏好对齐。结果是可测量的：R1在数学推理上的幻觉率低于2%，而在基本事实模糊的开放性事实问题上为12%。

这意味着模型恰恰在验证容易的地方学会了可靠，在验证困难的地方学会了不可靠。这是最糟糕的可信度分布。用户会在数学和代码上体验到模型的正确性，建立起校准过的信任，然后将这种信任应用到模型可以自由捏造的领域。对齐问题不仅仅是技术问题，更是人因问题。部分可靠比持续不可靠更加危险。

扫描 ALIGNMENT_ROADMAP.SYS。研究前沿正在转向有据生成：模型能引用来源、表达校准过的不确定性、在内部置信度低时拒绝回答。DeepSeek采用的过程奖励模型——评估推理的每一步而非仅评估最终答案——是朝这个方向迈出的一步。但根本张力依然存在。我们希望模型是有帮助的，即回答问题。同时又是诚实的，即有时候拒绝回答。这两个目标相互冲突，目前没有任何奖励函数能干净地解决这个冲突。