2025_NIPS_LMFusion: Adapting Pretrained Language Models for Multimodal Generation

LMFusion 论文核心总结与翻译

一、主要内容

LMFusion 是一个旨在为预训练纯文本大型语言模型（LLMs）赋予多模态生成能力的框架，核心目标是让模型能够理解和生成文本与图像的任意序列组合。其核心思路是复用 Llama-3 的预训练权重处理文本自回归生成，同时引入并行的 Transformer 模块通过扩散模型处理图像数据。

在架构设计上，通过模态专用的前馈网络（FFN）、查询-键-值（QKV）投影和归一化层独立处理文本与图像数据，同时借助共享自注意力层实现跨模态交互；训练过程中冻结文本专用模块，仅训练图像专用模块，从而在保留 LLMs 原有语言能力的前提下，构建强大的视觉理解与生成能力。

实验方面，基于 Llama-3 8B 模型初始化，使用 3.8 亿张 Shutterstock 图像-标题数据训练，与从零训练的 Transfusion 模型相比，图像理解能力提升 20%，图像生成能力提升 3.6%，且完全保留了 Llama-3 的文本性能（在 Hellaswag、SIQA 等基准测试中准确率无下降）。此外，该框架还可扩展至现有视觉-语言模型（如 LLaVA-NeXT），使其获得多模态生成能力。

二、创新点

1. 模态分离与共享结合的架构设计：首次实现模态专用模块（FFN + QKV 投影）