2025_NIPS_Steering When Necessary: Flexible Steering Large Language Models with Backtracking

一、文章主要内容总结

该研究针对大型语言模型（LLMs）生成内容可能存在的误导性、不真实等问题，提出了一种带回溯的灵活激活引导（FASB）框架，核心目标是在推理阶段动态控制LLMs输出，使其符合真实、可靠等期望行为，同时避免微调带来的高昂成本。

1. 研究背景与现有方法局限

• 现有控制LLMs输出的方法（如指令微调、RLHF、提示工程）需大规模数据和高额微调成本；激活引导技术虽能直接修改推理阶段的内部激活以控制输出，但存在缺陷：
  • 无差别干预所有生成内容，或仅基于问题判断干预与否及强度，无法精准适配不同生成场景；
  • 仅通过问题难以预判生成内容是否偏离期望（如TruthfulQA数据集的问题真实性概率集中在0.3-0.5，难以细粒度决策）；
  • 检测到偏离后再干预往往为时过晚，无法修正已生成的错误 tokens。

2. FASB框架核心设计

• 两步核心流程：

  1. 注意力头锚定与引导向量构建：通过Probe（训练轻量级分类器）或Prototype（无训练，基于正负样本激活均值构建原型）两种方法