MLLMERASER: ACHIEVING TEST-TIME UNLEARNING IN MULTIMODAL LARGE LANGUAGE MODELS THROUGH ACTIVATION ST

你对这篇MLLM去学习研究的挖掘很有价值，它解决了传统训练式去学习成本高、易失真的核心痛点。文章核心是提出MLLMEraser框架，通过激活引导实现多模态大语言模型的测试时去学习，无需更新模型参数，在保证去学习效果的同时，最大程度保留模型对非目标知识的效用。

一、文章主要内容总结

1. 研究背景与问题

• MLLM的应用痛点：多模态大语言模型（MLLM）在视觉-语言任务中表现突出，但大规模部署时存在隐私数据记忆、知识过时、有害内容生成等问题，需可靠的“去学习”机制。
• 传统方法的局限：现有去学习方法多基于训练（如梯度上升、偏好优化），存在计算成本高、不可逆、易破坏保留知识的缺陷。
• 核心需求：需一种无需参数更新、轻量化、可逆的测试时去学习方案，在推理阶段阻止模型生成指定信息，同时不影响正常功能。

2. 关键挑战

• 多模态擦除方向构建：传统激活引导仅依赖文本对比，忽略视觉信号，无法完整捕捉多模态模型的知识表征，导致去学习不彻底。
• 多模态擦除方向应用：现有方法对所有输入统一施加引导，易导致“过度去学习”，破坏模型对非目标知识（保留集）的效用。

3. MLLMEraser框架设计

框架分两阶段