MoDoMoDo: Multi-Domain Data Mixtures for Multimodal LLM Reinforcement Learning

文章主要内容

本文聚焦于多模态大语言模型（MLLMs）的强化学习优化，提出了MoDoMoDo框架，旨在通过多领域数据混合策略提升模型在多模态任务中的推理能力和泛化性能。具体内容包括：

1. 问题背景：传统的可验证奖励强化学习（RLVR）在应用于MLLMs时，面临多模态任务的数据异质性和数据集间目标冲突的挑战，需优化数据混合策略以平衡不同任务的训练需求。
2. 框架设计：开发了多数据集后训练的多模态RLVR框架，整合五种具有不同可验证奖励的图文数据集，支持多领域在线RL学习。
3. 数据混合策略：提出基于二次函数的代理模型，通过预测数据混合分布对RL微调结果的影响，优化最佳混合比例，捕捉数据集间的非线性交互。
4. 实验验证：在MMMU、MathVista等基准测试中，最优混合策略使模型在域外出错率上比均匀混合提升5.24%，比预微调基线提升20.74%，验证了数据混合策略的有效性。

文章创新点

1. 多模态RLVR框架：首次将可验证奖励强化学习扩展到多领域多模态场景，支持不同视觉-语言任务的联合训练。
2. 数据混合优化方法：提出基于代理模型的多