2025_NIPS_Think or Not? Selective Reasoning via Reinforcement Learning for Vision-Language Models

文章核心总结与创新点

一、主要内容

本文针对视觉语言模型（VLMs）中强化学习方法（如GRPO）因生成完整推理轨迹导致的token消耗大、计算成本高的问题，提出了一种名为TON（Think-or-Not）的两阶段训练框架，实现模型的选择性推理——模仿人类“简单问题直接回答，复杂问题深入推理”的认知模式。

1. 核心背景：现有VLMs的RL后训练方法（如GRPO）默认对所有问题生成完整推理链，即使51%的简单问题无需推理即可正确回答，造成资源浪费；且模型难以自适应省略冗余推理，需专门训练该能力。
2. 两阶段训练框架：
   • 第一阶段（SFT阶段）：引入“thought dropout”操作，随机将推理轨迹替换为空字符串（\n\n），让模型学习“推理/不推理”的输出格式，为选择性推理提供冷启动。同时通过“反向思考”策略（利用模型自身根据问题、图像和标准答案生成推理过程）构建高质量训练数据，无需依赖外部模型。
   • 第二阶段（GRPO阶段）：通过强化学习让模型自主探索“何时推理”，基于任务结果奖励（而非额外正则化）优化策略，平衡推理有效性与效率。
3. 实验验证：在LLM（GSM8K）、VLM（CLEVR、Super-CLEVR、GeoQA）和智能体任务（AITZ）中，基于Qwen-2.5-VL-3B/7B模型验证，TON在不损失性能甚至提升精度的前提下，将输出长度减少最高90%（CLEVR任务减少87%，GeoQA任务减少65