Steering When Necessary: Flexible Steering Large Language Models with Backtracking

论文总结与翻译

一、主要内容

该论文聚焦大语言模型（LLMs）输出对齐难题，提出带回溯的灵活激活引导（FASB）框架，旨在解决现有激活引导方法干预缺乏针对性、难以精准评估干预强度的问题，具体内容如下：

1. 研究背景：现有控制LLMs输出的方法（如指令微调、基于人类反馈的强化学习）需大规模数据集与高昂微调成本；激活引导虽能避免这些问题，但常对所有生成内容无差别干预，或仅依据问题判断干预与否，无法动态适配生成过程中的偏差情况。
2. 核心框架
   • 注意力头锚定与引导向量生成：通过Probe（训练轻量级分类器）或Prototype（构建正负样本原型）两种方法，筛选与目标行为（如真实性）相关的top-k注意力头，并推导引导向量与分类器，为后续干预提供依据。
   • 带回溯的灵活生成干预：生成过程中实时追踪LLM内部状态，结合问题与已生成内容，用分类器判断是否存在偏差及偏差程度，动态决定干预必要性与强度；若检测到偏差，通过回溯机制退回s个token，重新生成并施加适配的激活引导，修正偏差内容。
3. 实验验证：在TruthfulQA数据集（开放式生成与多选题任务）及6个多选题数据集（如COPA、StoryCloze）上开展实验，FASB框架（尤其是Probe方法）在真实性、信息量及多选题准确率上均优于ITI、CAA等基线方法；同时验证了框架在不同规模、架构的