MoDoMoDo: Multi-Domain Data Mixing for Multimodal LLM RL (arXiv:2505.24871)

最新推荐文章于 2026-11-11 13:00:00 发布

原创最新推荐文章于 2026-11-11 13:00:00 发布 · 6 阅读

0 GEO检测

LLM Daily 专栏收录该内容

3844 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

本文提出MoDoMoDo框架，面向多模态大语言模型（MLLMs）的强化学习优化，首次将可验证奖励强化学习（RLVR）扩展至多领域图文任务。通过构建五个具可验证奖励的图文数据集，设计支持多领域在线RL的训练框架，并引入基于二次函数的代理模型优化数据混合比例，显著提升跨域泛化能力。实验表明，最优混合策略在MMMU、MathVista等基准上较均匀混合提升5.24%域外准确率，较预微调基线提升20.74%。

### 文章主要内容
本文聚焦于多模态大语言模型（MLLMs）的强化学习优化，提出了MoDoMoDo框架，旨在通过多领域数据混合策略提升模型在多模态任务中的推理能力和泛化性能。具体内容包括：
1. **问题背景**：传统的可验证奖励强化学习（RLVR）在应用于MLLMs时，面临多模态任务的数据异质性和数据集间目标冲突的挑战，需优化数据混合策略以平衡不同任务的训练需求。
2. **框架设计**：开发了多数据集后训练的多模态RLVR框架，整合五种具有不同可验证奖励的图文数据集，支持多领域在线RL学习。
3. **数据混合策略**：提出基于二次函数的代理模型，通过预测数据混合分布对RL微调结果的影响，优化最佳混合比例，捕捉数据集间的非线性交互。
4. **实验验证**：在MMMU、MathVista等基准测试中，最优混合策略使模型在域外出错率上比均匀混合提升5.24%，比预微调基线提升20.74%，验证了数据混合策略的有效性。

### 文章创新点
1. **多模态RLVR框架**：首次将可验证奖励强化学习扩展到多领域多模态场景，支持不同视觉-语言任务的联合训练。
2. **数据混合优化方法**：提出基于代理模型的多域数据混合策略，通过二次函数建模数据集间的复杂交互，而非简单线性组合，提升混合策略的准确性。
3. **系统性基准**：构建了包含多类可验证视觉-语言问题的数据集和评估基准，为多模态RL研究提供了标准化工具。
4. **性能提升**：通过数据混合优化，显著提升模型在跨域任务中的泛化能力，证明了数据混合策略在多模态强化学习中的关键作用。

### Abstract
**标题**：MoDoMoDo：用于多模态LLM强化学习的多领域数据混合
**作者**：Yiqing Li

标签