2025_NIPS_Pixel Reasoner: Incentivizing Pixel-Space Reasoning with Curiosity-Driven Reinforcement Le

Pixel Reasoner 文章总结与核心内容翻译

一、主要内容总结

1. 研究背景与问题

现有视觉语言模型（VLMs）的推理过程局限于文本空间（如思维链推理），无法直接与视觉输入交互，导致在处理细粒度视觉细节（如微小物体、嵌入文本、视频动作）等视觉密集型任务时性能受限。

2. 核心框架：像素空间推理（Pixel-Space Reasoning）

提出一种新的推理范式，允许模型在推理过程中主动调用视觉操作（如图像缩放ZOOM-IN、视频帧选择SELECT-FRAME），直接操作和提取视觉信息，而非仅依赖文本转换。模型的推理步骤分为两类：

• 文本思考（Textual Thinking）：纯文本域推理（如计算、常识推导）；
• 视觉操作（Visual Operations）：调用预定义函数处理视觉输入，将结果融入后续推理。

3. 训练方案：两阶段后训练方法

为解决模型对视觉操作的陌生感和"学习陷阱"（倾向于依赖成熟的文本推理而非新兴的像素推理），设计两阶段训练：

• 热身指令微调（Warm-Start Instruction Tuning）：合成7500条推理轨迹（含单轮正确轨迹和错误诱导的自校正轨迹），让模型掌握视觉操作和自校正能力；
• 好奇心驱动强化学习（