2025_NIPS_Towards Unified Multimodal Interleaved Generation via Group Relative Policy Optimization

一、文章主要内容总结

该研究聚焦于统一视觉-语言模型在多模态交错生成任务（如视觉叙事、分步视觉推理）中的不足，提出了一套无需大规模交错数据集的训练策略，核心内容如下：

1. 问题背景：现有统一视觉-语言模型虽在理解和生成任务中表现出色，但受限于缺乏细粒度监督数据和模态转换引导，难以生成文本与图像交错的多模态输出，无法满足复杂场景下的推理与交互需求。
2. 核心方案：
   • 预热阶段（Warm-up Stage）：构建混合数据集（含少量精选交错文本-图像序列、多模态理解数据和文本到图像生成数据），激活模型潜在的交错生成能力，同时保留预训练的核心性能，避免灾难性遗忘。
   • 强化学习优化阶段：将分组相对策略优化（GRPO）扩展至多模态场景，提出统一策略优化框架，将文本和图像生成建模为单一解码轨迹；设计混合奖励信号（文本相关性、视觉-文本对齐、格式保真度）和过程级奖励（分步反馈），提升训练效率和生成质量。
3. 实验验证：在MMIE和InterleavedBench两个多模态交错生成基准测试中，模型性能显著优于现有方法（如MiniGPT-5、EMU-2、GILL等），同时在标准多模态理解和生成任务中保持了相当的性能，未出现能力退化