Video-R1: Reinforcing Video Reasoning in MLLMs

文章主要内容总结

研究背景与目标

本文针对多模态大语言模型（MLLMs）在视频推理任务中的不足，提出了Video-R1模型，旨在通过强化学习（RL）范式系统性提升模型的视频推理能力。现有方法在视频推理中面临两个核心挑战：缺乏时间建模能力和高质量视频推理数据稀缺。

方法创新点

1. T-GRPO算法
   提出时间增强的群体相对策略优化算法（T-GRPO），通过对比有序和随机打乱的视频帧序列推理结果，显式鼓励模型利用时间信息进行推理，避免依赖单帧捷径。

2. 混合数据集构建
   构建了两个数据集：

   • Video-R1-COT-165k：用于监督微调（SFT）的冷启动，包含图像和视频的链式思维（CoT）注释。
   • Video-R1-260k：用于RL训练，结合图像和视频数据，覆盖多领域推理任务（如数学、空间逻辑、知识问答等）。

3. 训练策略
   采用两阶段训练：首先通过SFT初始化模型，再通过T-GRPO进行RL训练，结合长度奖励机制平衡推理深度与简洁性。