Scaling RL to Long Videos

文章主要内容总结

本文介绍了一个全栈框架LongVILA-R1，旨在通过强化学习（RL）将视觉语言模型（VLMs）的推理能力扩展到长视频领域。该框架通过三个核心组件解决长视频推理的独特挑战：

1. 大型数据集LongVideo-Reason：包含52K个长视频问答（QA）对，带有高质量推理标注，覆盖体育、游戏、博客等多个领域。
2. 两阶段训练 pipeline：通过思维链有监督微调（CoT-SFT）扩展VLMs，再结合强化学习（RL）提升推理能力。
3. 长视频RL训练基础设施Multi-modal Reinforcement Sequence Parallelism（MR-SP）：整合序列并行性和基于vLLM的引擎，利用缓存的视频嵌入实现高效rollout和预填充。

实验表明，LongVILA-R1-7B在VideoMME等长视频QA基准上表现优异，在LongVideo-Reason-eval基准的时间推理、目标推理、空间推理和情节推理任务上优于Video-R1-7B，甚至与Gemini-1.5Pro相当。MR-SP系统将长视频RL训练速度提升高达2.1倍，且LongVILA-R1的性能随输入视频帧数增加持续提升。此外，该训练系统开源，支持多模态（视频、文本、音频）、多模型（VILA、Qwen系列等）的RL训练。

<