Model Tailor: Mitigating Catastrophic Forgetting in Multi-modal Large Language Models

本文是LLM系列文章，针对《Model Tailor: Mitigating Catastrophic Forgetting in Multi-modal Large Language Models》的翻译。

摘要

当微调多模态大语言模型（MLLMs）时，灾难性遗忘成为一个关键挑战，因为在看不见的任务上提高性能往往会导致原始任务的性能显著下降。本文对MLLMs中的灾难性遗忘进行了全面分析，并介绍了一种称为模型裁缝的训练后调整方法。我们的方法主要保留预训练的参数，同时替换少量（≤10%）微调参数，与预训练相比，在原始任务上保持99%的有效性，与标准微调相比，在新任务上实现~97%的有效性。具体来说，我们基于融合显著性和敏感性分析的融合策略，推导出一个稀疏掩码来识别“模型补丁”。随后，引入了一种补偿机制来“装饰补丁”，提高了模型在目标任务和原始任务上的性能。此外，我们的方法适用于多任务场景。通过在图像字幕和视觉问答任务中对InstructionBLIP和LLaVA-1.5进行广泛的实验，我们的方法展示了显著的任务适应性，同时保留了固有的预训练能力。

1 引言

2 相关工作

3 问题定义

4 方法

5 实验

6 结论

总之，这项研究解决了微调MLLMs中灾难性遗忘的关键挑战。我们引入了Model Tailor，它在策略上保持预训练的参数的完整性