2025_NIPS_RLVR-World: Training World Models with Reinforcement Learning

文章核心总结与翻译

一、主要内容

本文提出RLVR-World框架，通过带可验证奖励的强化学习（RLVR）训练世界模型，解决传统最大似然估计（MLE）训练与任务特定目标不一致的问题。框架将多模态世界建模统一为自回归序列生成任务，以状态转换预测指标（如准确率、感知质量）作为可验证奖励，在语言和视频两种模态上开展实验：语言模态聚焦文本游戏状态预测、网页状态预测及网页智能体模型预测控制；视频模态聚焦机器人操作轨迹预测及真实到模拟的政策评估，均取得显著性能提升，且有效减少重复等生成缺陷。

二、创新点

1. 提出统一框架：将语言、视频等多模态世界建模整合为自回归序列生成范式，适配不同模态的tokenization方案。
2. 任务对齐优化：用任务特定的可验证指标（如准确率、LPIPS）替代MLE作为奖励，直接优化世界模型的核心预测能力。
3. 跨模态有效性验证：首次将RLVR应用于视频世界模型训练，同时在语言模态拓展新测试场景，证明其通用性。
4. 高效训练特性：仅需数百步RLVR梯度更新即可实现显著提升，远少于MLE预训练所需的数十万步，且能缓解重复等生成问题。

---

三、核心部分翻译（Markdown格式）

<