2025_NIPS_Learning to Steer: Input-dependent Steering for Multimodal LLMs

文章主要内容总结

该研究聚焦多模态大语言模型（MLLMs）的后验引导问题，针对现有静态引导方法（如均值引导）仅使用单一固定引导向量、无法适配输入依赖型目标行为的局限，提出了输入依赖型引导方案。核心工作包括：

1. 提出Prompt-to-Steer（P2S）方法，通过输入特异性对比提示生成专属引导向量，但该方法因测试时需已知对比提示而难以落地；
2. 设计Learn-to-Steer（L2S）框架，利用轻量辅助网络学习从输入潜在表示映射到P2S引导向量，实现低计算开销的输入依赖型引导；
3. 在安全增强（减少有害响应、引导专家咨询）和幻觉缓解两大任务上验证，L2S在LLaVA-v1.5和Qwen2-VL模型上均显著优于静态引导基线，且保持响应质量。

创新点

1. 首次系统探索MLLMs的输入依赖型引导，突破传统静态引导的普适性局限，适配不同输入场景下的差异化目标行为；
2. 提出P2S方法构建输入特异性引导向量，为L2S提供高质量监督信号，同时通过辅助网络解决P2S的实用性难题；
3. 仅对MLLM的单个解码器层进行线性偏移干预，以极小计算开销实现安全与幻觉两大关键问题的同步优化。

---

Abstract 翻译

引导（Steering）已成为一种实用方法，能够对大语言模型（LLMs）进行后验指导，以强化特定行为。然而，该方法在多模态大语言模型（MLLMs）中仍未得到充分探索；此外，现有引导技术（如均值引导）依赖单一引导向量，与输入查询无关。当目标行为