加载 TRAINING_PIPELINE.SYS。DeepSeek-V3在2048块NVIDIA H800 GPU上使用14.8万亿token进行训练。总训练算力为278.8万H800 GPU小时。按估算的云端租赁费率，算力成本约为557.6万美元。作为对比，GPT-4的训练成本估计在5000万至1亿美元之间。据报道Meta训练Llama 3 405B花费超过3000万美元。DeepSeek以极低成本实现了可比甚至更优的性能。

基础设施层面才是技术上真正有趣的地方。H800是H100的出口管制版本，NVLink带宽降至400 GB/s，而H100为900 GB/s。DeepSeek围绕带宽限制进行了工程突破，使用他们称之为DualPipe的自定义流水线并行框架，在流水线阶段之间重叠前向和反向计算阶段以隐藏通信延迟。他们将硬件限制转化为优化问题并加以解决。

FP8混合精度训练是另一个关键的效率杠杆。DeepSeek-V3是首批在此规模下使用8位浮点进行大部分矩阵乘法训练的模型之一。FP8在H800张量核心上将FP16的吞吐量翻倍。但FP8的动态范围很窄：仅有4位指数位。梯度溢出和下溢导致的训练不稳定性历来使FP8在大规模训练中不切实际。DeepSeek开发了一种细粒度量化方案，采用逐块缩放因子来维持训练稳定性。

查阅 CLUSTER_TELEMETRY.LOG。他们报告的模型FLOPs利用率为54.2%。这个数字听起来不算高，但对于一个在2048块GPU上运行的MoE训练任务来说，考虑到专家并行的通信开销，这个利用率非常出色。Google在TPUv4 Pod上训练PaLM时报告的MFU大约在40%到57%之间。DeepSeek在互连硬件更差的条件下达到了接近最优的硬件利用率。仅通信调度一项就代表了数年的系统工程积累。

训练数据管线在预训练阶段处理了14.8万亿token，采用两阶段课程。第一阶段在大部分数据上使用4K上下文长度。第二阶段扩展至128K上下文，使用精心构建的长上下文语料库并配合渐进式长度调度。分词器为字节级BPE，词汇表大小为128K，针对多语言效率进行了优化，在中文文本上实现了尤其出色的压缩比。

最重要的是系统性影响。如果一个中国实验室能够在出口管制硬件上以不到600万美元的成本训练出前沿模型，那么AI的"护城河"理论——只有投入数亿美元的组织才能竞争——就被证伪了。制约因素从来不是算力，而是工程质量。COMPUTE_ECONOMICS.DAT证实了这一点：同等能力的成本曲线下降速度远超美国实验室的预期。暴力堆算力作为竞争优势的时代正在终结。