查阅 INFERENCE_PIPELINE.SYS。自回归范式是一个优美的约束：预测一个token，追加它，预测下一个。每个词都从它之前所有词的累积上下文中涌现。但这种序列化生成意味着一个1000 token的回复需要1000次串行前向传播。模型每次只思考一个词。人类不是这样组织语言的。我们在表达之前就规划好了短语、句子、甚至整个论证。问题是模型是否能学会同样的事情。

DeepSeek-V3将多token预测作为训练目标实现。模型不仅预测下一个token，还使用额外的预测头同时预测接下来的2个token。每个预测头共享主Transformer骨干网络，但拥有自己的输出投影。在训练过程中，这迫使模型发展出不仅编码即时下一token概率，还编码更长程序列结构的表征。模型学会了提前规划。

扫描 MTP_ABLATION.DAT。即使在推理时丢弃额外的预测头，训练收益仍然是可测量的。使用多token预测目标训练的模型在需要长程连贯性的基准测试上表现更好：故事续写、多步推理、代码生成。辅助目标重塑了内部表征，使其更具前瞻性。被训练去预测更远处的模型，即使每次只生成一个token，也会思考得更远。

推理加速的潜力是这与系统工程的连接点。推测解码使用一个小的草稿模型生成候选token序列，然后用大模型并行验证。如果草稿模型预测正确，你就能从大模型的一次前向传播中获得多个token。以DeepSeek-V3作为验证器、蒸馏7B模型作为草稿器，在典型文本生成中接受率为70%到85%，带来等效2到3倍的吞吐量提升且无质量损失。

但多token预测头提供了一条更优雅的路径。因为V3被训练来预测多个未来token，模型本身就可以充当自己的草稿模型。额外的预测头生成推测性的续写，主模型在下一次前向传播中验证。不需要单独的草稿模型，不需要额外的内存。架构将生成和验证统一到一个系统中。模型在一次呼吸中既提出又判断。

加载 DEPLOYMENT_OPTIMIZATION.SYS。MLA KV缓存压缩、MoE稀疏激活、FP8量化推理和多token推测生成的综合效果意味着DeepSeek-V3的每token服务成本比同等稠密模型低50到100倍。这不是增量优化，而是智能经济学的根本性重构。当推理如此廉价时，AI部署的制约因素就从算力成本转移到了想象力。瓶颈变成了我们想到要问什么，而不是我们能负担运行什么。