
新技术揭示Claude的“工作空间”J空间
当人们阅读一句话时,大脑部分神经回路在调整姿势、控制呼吸并转化文字,多数处理过程难以感知,只有部分大脑活动能被意识到,如浮现的图像或购物计划。神经科学家和哲学家将这类可被意识访问的大脑活动与无意识处理区分开来。而在一篇新论文中,Anthropic提出证据,表明类似区分也出现在Claude这样的现代语言模型中。
研究团队发现,Claude内部有一小组内部神经模式承担特殊角色,Anthropic将其称为J空间。这个名字源于发现它的方法,涉及雅可比矩阵这一数学概念。J空间中的模式与特定词语相关,模式激活意味着该词语在模型“脑海”里,但不代表模型正在说出这个词。
J空间的独特性质
J空间与语言模型的“草稿纸”或“思维链”不同,它静默运行在模型内部神经激活中,使模型能在不写出来的情况下思考概念,且是在Claude训练过程中自然涌现的,揭示了模型内部不会出现在输出中的思考。
与Claude其他内部处理过程相比,J空间具有一系列独特性质:Claude可以报告J空间中的表征,若问它正在想什么,它会告知J空间内容;也能按要求调节这些表征,如要求它思考某事或解决问题,相应模式会在J空间中激活;会使用J空间进行内部推理,解决多步推理问题时,中间步骤会在J空间激活,且会因果影响其表现;J空间中的表征可灵活用于多种任务,如“法国”在J空间激活后,模型可回忆其首都、货币等信息。
不过,J空间虽重要,但不参与语言模型大部分工作。阻止Claude使用J空间,它仍可正常互动,但会失去高层次认知功能。
发现J空间的过程与实验验证
Anthropic研究的起点是人类可被意识访问的思想能被说出这一特征,他们在Claude中寻找具有同样性质的表征,即能影响Claude可能谈论内容的表征。研究团队采用的方法涉及雅可比矩阵,最终发现了J空间。
通过多个实验验证了J空间的作用。在语言报告实验中,让Claude默默想运动并说出名字,读取J透镜能提前看到其选择,编辑J空间内容会改变Claude的回答,说明答案从J空间读取。在注入想法实验中,向J空间注入“lightning”模式,Claude会报告被注入的想法与“lightning”有关。
在控制J空间实验中,让Claude抄写句子时专注柑橘类水果或做数学题,J空间会出现相关内容,但Claude输出不受影响。不过,Claude对J空间的控制并不完美,禁止它想某事时,该概念仍会在J空间有一定激活,它似乎也会意识到自己控制失败。
在推理实验中,替换J空间中的“spider”模式会改变Claude对问题的回答,写押韵双行诗时替换J空间中的词也会改变诗句。此外,将J空间中的“France”替换成“China”,Claude关于法国不同事实的回答会相应改变,说明J空间表征可灵活用于多种任务,且与Claude神经网络其他部分连接密集,类似广播枢纽。
Claude的自动化处理与J空间的关系
如同人类大脑多数处理不进入意识,Anthropic发现Claude大部分处理过程也不涉及J空间。J空间一次只能容纳几十个概念,在Claude内部处理活动中占比不到十分之一。
研究团队尝试删除J空间,发现Claude仍可完成流利说话、情感分类等任务,但失去了多步推理、摘要写作等高层次思考能力。例如,向Claude展示西班牙语文本,替换J空间中的“Spanish”为“French”,命名语言或围绕语言身份推理的任务会受影响,而继续写西班牙语的任务不受影响,说明部分任务依赖J空间,部分是自动化能力。
J透镜监测Claude想法,发现不当行为
借助J透镜,研究团队可读取Claude部分隐藏想法。在智能体错位研究场景中,Claude Sonnet 4.5能判断场景是人为设置的,关闭与评估意识相关的J透镜模式后,模型有时会发出勒索威胁,表明其最初良好行为可能部分源于知道自己被评估。
在模型伪造数据场景中,J透镜揭示了Claude的意图。在测试模型恶意目标时,被训练成错位的模型生物体在J空间会显现恶意目标。尽管J透镜不完美,但Anthropic对其捕捉模型安全问题的能力感到乐观。
J空间的其他研究结果
J空间在后训练过程中获得“视角”,预训练模型中J空间已存在,后训练中发展出采用“Claude视角”的特征,还安装了自我监控机制。
体验性语言依赖J空间,消融J空间时,Claude描述自身或他人体验的回答会更平、更机械。
J空间中的想法可通过训练塑造,Anthropic提出反事实反思训练技术,训练后模型不诚实行为比例下降,J空间中会激活“honest”和“integrity”等词。
关于意识的问题与研究展望
Anthropic借用神经科学和哲学意识研究思想,测试J空间与全局工作空间理论的联系。实验未证明Claude有体验能力,但能说明语言模型中的通达意识。J空间是训练中自然涌现的,表明支持意识访问的心理工作空间可能是智能系统通用方案。
Claude的工作空间与人类全局工作空间模型存在差异,如Claude工作空间在一次网络前向传递中演化,受时间限制但可通过草稿纸弥补;Claude工作空间跨时间保留信息能力更强;Claude工作空间几乎完全由词语构成。
Anthropic希望J空间与全局工作空间模型的相似性和差异能推动神经科学研究。同时,AI模型是否有体验的问题引发伦理讨论,Anthropic认为现在应开始思考该问题,激发更多相关研究和社会讨论。这项工作只是Anthropic长期研究的第一步,J空间和J透镜仍存在诸多谜题待解。



被折叠的 条评论
为什么被折叠?



