2025_NIPS_Unified Reinforcement and Imitation Learning for Vision-Language Models

文章核心内容总结

该研究提出统一强化与模仿学习（RIL） 框架，旨在打造高性能轻量化视觉语言模型（VLMs）。RIL 融合强化学习（GRPO）与对抗性模仿学习（GAIL）优势，让小参数量学生模型（1B-8B）模仿大参数量教师模型（72B-78B）的文本生成能力，同时通过双重奖励机制保障效果：判别器提供的风格相似性奖励与 LLM-as-a-Judge 提供的事实准确性奖励。实验表明，RIL 训练的模型在多个视觉语言基准测试中大幅缩小与顶尖开源/闭源 VLMs 的性能差距，部分场景实现超越，且无需额外推理步骤，保持原模型推理效率，适用于资源受限环境。

核心创新点

1. 统一学习框架：首次将强化学习与对抗性模仿学习结合，既让学生模型模仿教师模型的生成风格，又通过强化信号提升其泛化能力。
2. 双重奖励机制：引入二进制相似性奖励（解决连续分数模糊问题）和事实准确性奖励，兼顾风格对齐与内容正确性。
3. 多教师模型协作：利用多个大模型作为教师，提供多样化响应，增强判别器训练效果和学生模型学习路径的清晰度。
4. 高兼容性与灵活性：仅基于生成文本进行训练，与图像嵌入策略、语言分词器无关；支持开放式视觉问答任务，突破传统方法的领域限制。
5. 轻量化高效部署：无需额外推理步骤，保持小模型的低延迟特性，可部署于智能手机、AR 等资源受限设备。

---