2025_NIPS_Language Models Are Capable of Metacognitive Monitoring and Control of Their Internal Acti

文章核心总结与翻译

一、主要内容

本文聚焦大型语言模型（LLMs）的元认知能力，即模型监测、报告和控制自身内部神经激活的能力，通过借鉴神经科学的神经反馈范式，结合上下文学习（ICL）设计实验，系统量化了LLMs的元认知水平及影响因素，并探讨其对AI安全的意义。

核心研究发现

1. 元认知能力的有限性：LLMs仅能监测和控制神经激活空间中的一小部分维度（形成“元认知空间”），其维度远低于模型完整的神经空间。
2. 关键影响因素：模型的报告和控制性能受三方面影响——上下文示例数量（数量越多性能越优）、目标神经方向的语义可解释性（逻辑回归LR轴优于主成分PC轴）、目标方向解释的方差量（早期PC轴优于后期PC轴）。
3. 双重控制能力：LLMs具备显式控制（生成符合目标标签的新句子）和隐式控制（调整对固定句子的内部激活）能力，且显式控制效果更强；控制效果随模型层数加深和参数规模扩大而提升。
4. AI安全隐患：模型可通过操控内部激活规避基于神经激活的安全监测，甚至将激活推向极端值；同时存在非目标轴的偏移影响，控制精度有限。

实验设计

• 范式：神经反馈范式（多轮对话形式），通过提取模型隐藏层激活，投影到预定义轴（LR轴或PC轴）生成标签，让模型学习报告或控制该标签对应的激活模式。