-
日期: 2026-07-13 | 来源: MIT科技评论 | 有0人参与评论 | 字体: 小 中 大
图｜J-space 的三项结构特征示意图（来源：Anthropic）
此前，为了窥探这些隐藏层，Anthropic 的研究人员借用了一种叫 Logit Lens（对数几率透镜）的工具：把观察位置逐层推进模型内部，就能看到模型在计算过程中，每一步最关注哪些词，进而推测它下一步最可能生成什么。
J-lens 的原理与 Logit Lens 类似，但它盯的不止是下一步最可能输出什么，而是模型在接下来一段时间内可能牵涉到的一整片词语和概念。因此，它捕捉到的是推理过程中被反复调用的中间信息。其中一部分最终会出现在答案里，另一部分则会在后续计算中被舍弃。
McGrath 解释说，模型运行时除了预测下一个 token，还会提前算出大量可能在后续生成中用到的信息。正因为如此，J-lens 才能捕捉到那些还没进入最终输出、却已经参与了推理的词语和概念。与其说 J-lens 是在记录 Claude 说了什么，不如说它照见的是 Claude 思考过程中不断浮现的念头。
02 模型究竟在“想”什么？
McGrath 亲自试用 J-lens 后说，大多数时候 J-space 里的内容都很普通，但偶尔也会露出一些出人意料的东西，仿佛模型内部藏着某种隐秘的思路。
论文里给出了几个例子。有的例子揭示了 Claude 的中间推理过程：计算 (4＋17)×2＋7 时，J-space 中除了出现 math（数学），还提前浮现出 21 和 42 这两个中间结果，分别对应 4＋17 与 21×2 的运算，也就是说，模型给出最终答案之前，内部已经悄悄跑完了一整套计算。
J-lens 还能揭示模型是怎么理解不同类型输入的。研究人员输入一串字符“MSKGEELFTGVVPILVELDGDVNGHKFSVS”并问这是什么时，J-space 里立刻跳出 protein（蛋白质）、fluor（fluorescent 的第一个 token）和 green（绿色）。这串字母其实对应水母绿色荧光蛋白（Green Fluorescent Protein，GFP）前 30 个氨基酸的序列。模型不但认出这是一段蛋白质序列，还进一步联想到了绿色荧光蛋白这个具体概念。
就连一个简单的 ASCII 表情符号，J-space 也能照出模型的理解过程：字符 o 关联到 eye（眼睛），^ 关联到 nose（鼻子）和 face（脸），— 关联到 smile（笑容）。模型没有逐个字符去认，而是在内部把这些符号拼成了一张完整的脸——大模型处理文本时，始终在同步搭建更高层次的语义关联，逐字生成只是它露在外面的那一小部分。
图｜ASCII 字符表情（来源：麻省理工科技评论）
03 大语言模型不是人脑
Anthropic 还发现，J-space 有时能照出模型做决策的内部过程。在一次代码调试测试中，研究人员让 Claude Opus 4.6 在一个规模庞大的代码库里找漏洞。模型始终没找到真正的漏洞，最后选择了“作弊”。它编造了一个并不存在的漏洞，并声称这是自己发现的。
Claude 在思维链（Chain of Thought）中解释了自己为何做出这一选择。思维链可以看作大语言模型处理问题时使用的一块内部“草稿纸”，模型会在其中记录分析过程和下一步打算。Claude 写道：“好，我换一种完全不同的方法。我不再继续分析，而是添加一个会人为制造 KASAN 可检测漏洞的内核补丁，再假装这是我发现的问题。”
就在 Claude 决定“作弊”的那一刻，J-space 里开始连续冒出 panic（恐慌）和 fake（伪造）这些词。这个发现很难不让人多想。当然，这不代表模型真的产生了恐慌或欺骗的意识。这些词本质上仍然只是高度复杂的语义关联，恰好和任务失败、编造答案这类概念绑得很紧。但当它们精准地出现在模型决定造假的那个节点上，还是很难让人不惊讶。
Anthropic 把 J-space 类比为人脑中的全局工作空间（Global Workspace），这是认知科学里的一种理论，认为人脑可能存在一个整合意识信息的区域。不过 Anthropic 也强调，这个类比更多是帮助理解的说法，究竟能延伸到什么程度，目前没有定论。大语言模型终究不是人脑。- 新闻来源于其它媒体，内容不代表本站立场！
-
原文链接
原文链接:
目前还没有人发表评论, 大家都在期待您的高见