加载 BENCHMARK.LOG。DeepSeek-V3在主要评估中的表现。MMLU：88.5%，对比GPT-4o的87.2%和Claude 3.5 Sonnet的88.7%。MMLU-Pro：75.9%，对比GPT-4o的72.6%。GPQA Diamond：59.1%，对比GPT-4o的49.9%。在知识密集型基准测试上，V3与最好的闭源模型持平甚至超越，同时完全开放权重。

缺乏方法论背景的基准分数是有误导性的。那些MMLU问题中有多少出现在了训练数据中？DeepSeek在14.8万亿token的互联网文本上进行了训练。大语言模型评估中的数据污染问题是系统性的。每个主要基准测试都已部分泄露到网络爬取的训练语料中。问题不在于是否存在污染，而在于污染是否实质性地抬高了分数。交叉参考 CONTAMINATION_AUDIT.DAT。

编程基准测试更难通过数据污染来作弊，因为它们需要实际执行验证。HumanEval：V3得分82.6%。LiveCodeBench使用训练截止日期之后发布的题目：V3为40.5%，对比Claude 3.5 Sonnet的34.3%和GPT-4o的33.4%。SWE-Bench Verified评估真实GitHub issue的解决能力：V3达到42.0%的解决率。这些都是经过执行验证的指标。模型要么生成可运行的代码，要么就是不行。

数学成绩最能说明问题。MATH-500：V3得分90.2%。AIME 2024：V3基础模型39.2%，R1为79.8%。作为参考，人类参加AIME的中位数成绩约为15题中答对6题，即40%。R1大约处于人类AIME参赛者的第96百分位水平。在数学推理方面，这个模型已经从令人印象深刻的模式匹配跨越到需要真正多步逻辑推理的领域。

我要对"真正的逻辑推理"提出异议。模型处理的是token，而非操作抽象数学对象。当R1解决AIME题目时，它执行的是在恰好对应数学推理的符号序列上的习得启发式算法。一个记住了10000个解题模式的学生也能在AIME上取得好成绩，却不理解解法为何有效。基准测试告诉我们模型能做什么，但无法告诉我们它是如何做到的。

分析 INFERENCE_BENCHMARK.SYS。有一个指标不会说谎：吞吐量。V3在单节点8块H800 GPU上以每秒60个token的速度提供推理服务。以每个token激活370亿参数计算，这意味着每秒2.2万亿次乘累加有效运算。DeepSeek API上每百万输出token的成本约为0.27美元，对比GPT-4o的15.00美元和Claude 3.5 Sonnet的15.00美元。无论对其推理本质存在什么哲学异议，经济论证已经尘埃落定。这是以大宗商品价格提供的前沿能力。