2025_NIPS_LayerNavigator: Finding Promising Intervention Layers for Efficient Activation Steering in

一、文章主要内容总结

该研究聚焦大语言模型（LLMs）激活导向（Activation Steering）技术中的核心挑战——干预层选择，提出了高效、可扩展的层选择方法LayerNavigator。

1. 研究背景与问题

• 激活导向技术通过在推理时向模型残差流注入导向向量，无需修改模型权重即可实现行为对齐，兼顾稳定性与资源效率，但层选择不当会破坏语言流畅性或降低对齐效果。
• 单层导向虽易评估但对齐提升有限，多层导向潜力更大却面临组合爆炸（如32层模型选5层需18万+次评估），穷尽搜索不可行。

2. 核心方法：LayerNavigator

• 核心思路：基于导向向量生成过程中已计算的激活值，通过量化“可区分性（Discriminability）”和“一致性（Consistency）”评估每层的“可导向性（Steerability）”，无需额外数据或推理开销。
  • 可区分性：衡量层中正负样本激活值的分离程度，确保存在有效导向方向；
  • 一致性：衡量不同对比提示对诱导的导向方向稳定性，避免导向向量沦为噪声。
• 计算逻辑：对激活值进行Z-score归一化后，通过Fisher判别比变体计算可区分性得分，通过向量夹角相似度计算一致性得分，两者求和得到可导向性得分，选择Top-K层进行干预。

3. 实验与结果

• 实验设置：基于Ll