加载 ACTIVATION_ATLAS.DAT。一个拥有6710亿参数的Transformer将知识分布存储在数万亿个浮点权重中。没有地址表，没有索引，没有模式。"巴黎是法国的首都"这一知识并不存储在任何可识别的位置。它被编码为数百万个神经元的激活模式，这些模式共同使得"巴黎"在正确的上下文中比"里昂"更可能被输出。这种架构是全息图，而不是数据库。

机制可解释性研究正在开始绘制这幅全息图。Anthropic关于叠加的研究表明，单个神经元同时编码多个不相关的概念，由不同的输入上下文激活。一个神经元可能同时对"法国料理"和"数学证明"有响应，因为模型已经学会了这些概念永远不会在需要消歧义的上下文中同时出现。模型通过利用高维空间的几何特性，将更多知识打包到更少的参数中。

查阅 MLA_COMPRESSION.SYS。DeepSeek-V3中的MLA多头潜在注意力增加了另一层复杂性。键值投影在注意力计算之前将上下文信息压缩到潜在空间。这意味着模型不仅将知识存储在权重中，还在每次前向传播过程中动态压缩和重建上下文知识。潜在瓶颈迫使模型学习上下文中哪些方面是必要的，哪些是冗余的。这是应用于思维的有损压缩。

MoE架构进一步碎片化了知识表征。在稠密模型中，每个参数都参与每次计算。在DeepSeek-V3中，每个token仅激活256个专家中的8个。这意味着事实知识要么在专家间复制，要么通过共享专家路由。对类似MoE模型的探测实验表明，事实知识集中在共享专家和注意力层中，而特定任务的程序性知识则专门化到路由专家中。

交叉参考 KNOWLEDGE_PROBE.LOG。探测研究中最引人注目的发现是，Transformer层形成了一个处理层级。早期层编码语法结构和token身份。中间层构建语义表征和事实关联。后期层将这些组合为特定任务的输出。像"法国的首都"这样的事实查询是自底向上处理的：token识别，然后实体识别，然后关系知识检索，最后答案生成。四个阶段，61层，不到50毫秒完成。

令人不安的含义是，我们已经构建了内部知识表征无法被完全审计的系统。我们可以探测个别事实，可以映射个别电路。但一个6710亿参数模型的完整知识状态，就像生物大脑的连接组一样不透明。我们知道它知道一些事情。我们可以测试它知道什么。但我们无法穷举它知道什么、无法预测它会在哪里出错、也无法保证它永远不会说什么。知识在那里，透明度却不在。这个鸿沟定义了可解释性研究的前沿。