Investigating Structural Pruning and Recovery Techniques for Compressing Multimodal Large Languag...

文章主要内容和创新点

主要内容

本文聚焦于多模态大语言模型（MLLMs）的压缩问题，旨在解决其部署时面临的高计算和内存需求挑战。研究通过结构剪枝（structural pruning）结合高效恢复训练（recovery training）直接压缩现有MLLMs，具体探索了两种剪枝范式：

• 逐层剪枝（layerwise pruning）：移除整个Transformer块，利用模型层冗余性；
• 宽度剪枝（widthwise pruning）：移除不重要的注意力头和MLP神经元，基于子组件的必要性观察。

同时，研究结合监督微调（supervised finetuning）和知识蒸馏（knowledge distillation）进行恢复训练，并探索了低数据量（少至5%原始数据）下的恢复可行性。实验在LLaVA-v1.5-7B和Bunny-v1.0-3B两个代表性模型上展开，结果表明：

• 宽度剪枝在低资源（计算或数据有限）场景下性能更优；
• 小压缩率（<20%）时，仅微调多模态投射器（multimodal projector）即可恢复性能；
• 监督微调和隐藏状态蒸馏结合在各压缩率下恢复效果最佳；
• 5%原始数据即可实现95%以上的性能恢复。

创新点

1. 方法创新：提出直接压缩现有MLLMs的方法，突破了现有从小型语言模型（SL