2025_NIPS_FlexAC : Towards Flexible Control of Associative Reasoning in Multimodal Large Language Mo

一、文章主要内容总结

本文聚焦多模态大型语言模型（MLLMs）在忠实性与创造性之间的固有权衡问题——不同任务对关联推理强度的需求各异，但现有方法缺乏灵活调节该强度的机制，限制了模型在事实类和创意类场景中的适应性。

研究首先通过层分析和干预实验，揭示了MLLMs关联行为的核心机制：1）中间层是塑造模型关联倾向的关键；2）修改中间层表示可有效调节关联推理强度；3）幻觉输出可用于推导引导关联调节的导向向量。

基于这些发现，作者提出FlexAC（Flexible Association Control） 框架，这是一种轻量级、无需训练的关联推理控制方案，包含两个核心阶段：1）离线控制向量构建：通过幻觉引导的中间状态提取通用关联向量，结合实例筛选提升可靠性，并融入任务特定关联向量以支持多维度关联需求；2）推理时控制：将通用向量与任务特定向量注入中间层，通过自适应导向强度校准避免过调节，实现关联强度的精细控制。

实验验证了FlexAC的有效性：在Creation-MMBench上创造性提升高达5.8倍，在CHAIR上幻觉率降低29%，同时在MME、MMMU等通用基准上保持了模型的核心能力，优于现有基线方法。此外，本文还提出了VDAT（Visual-Divergent Association Test）基准，用于专门评估模型的关联推理强度。

二、文章创新点

1. 机制洞察创新：首次明确MLLMs的关联行为主要由中间层编码，且幻觉与创造性共享关联机制，为关联推理的可控调节提供了理论基础。
2. 框架设计创新