2025_NIPS_VideoRFT: Incentivizing Video Reasoning Capability in MLLMs via Reinforced Fine-Tuning

文章核心总结与翻译

一、主要内容

本文提出VIDEORFT框架，旨在通过强化微调（RFT）为多模态大语言模型（MLLMs）赋予类人视频推理能力。核心围绕视频推理的两大痛点——高质量视频思维链（CoT）数据集稀缺、推理输出与视觉证据缺乏对齐——展开，具体内容包括：

1. 双阶段训练范式：遵循RFT标准流程，先基于带CoT标注的数据集进行有监督微调（SFT），再通过强化学习（RL）提升泛化能力。
2. 高质量数据集构建：设计多专家驱动、受认知启发的CoT生成流水线，构建了两个大规模数据集——用于SFT的VideoRFT-CoT-102K（10.2万样本）和用于RL的VideoRFT-RL-310K（31万样本），覆盖通用、数学、科学、文档解析、时空推理五大认知场景。
3. 语义一致性奖励机制：在RL阶段引入新型奖励函数，明确促进文本推理与视觉证据的对齐，减少视觉幻觉，确保推理输出基于视频内容。
4. 实验验证：在6个视频推理基准测试中取得当前最优性能，超越GPT-4o、Qwen2.5-VL等主流模型，验证了框架的有效性。

二、创新点

1. 首次将RFT范式系统扩展至视频推理领域：突破现有视频MLLMs以答案为导向、缺乏显式推理过程的局限，实现类人分步推理。
2. 认知启发的CoT生成流水线</