清华：首个具身R1来了！协同框架下RL激活基座模型的视频空间推理能力，性能提升超10%！

关注

原创最新推荐文章于 2026-11-13 16:21:24 发布 525 阅读 AI 写同款· GEO 优化 ›

7GB显存跑GRPO强化学习：Unsloth实现小模型可解释推理强化学习微调（RLHF）是赋予大语言模型推理能力的关键技术，但传统PPO算法依赖值函数网络，显存开销巨大，难以在消费级GPU上落地。GRPO（Group Relative Policy Optimization）通过组内相对优势替代绝对奖励估计，从算法底层降低显存压力；结合Unsloth框架的动态4-bit量化、LoRA原地加载、vLLM前缀缓存适配等工程优化，首次实现Qwen2.5-1.5B模型在7GB显存内稳定完成推理链涌现训练。该方案不依赖高质量CoT标注数据，仅需input-answer二元样本，即阅读详情

简介

受OpenAI-o1/o3、DeepSeek-R1等推理模型的启发，本论文提出了首个基于连续视觉感知的具身空间推理框架Embodied-R，通过强化学习（RL, Reinforcement Learning）和大小模型协同，将R1推理训练范式拓宽至具身智能领域。

在训练资源受限情况下，只训练其中的小规模参数基座模型，最终表现媲美Gemini-2.5-Pro、OpenAI-o1等SOTA多模态推理模型。

此外，还探讨了训练的过程、奖励函数的设计、RL & SFT模型泛化能力的差异等广泛关注的研究问题。

▲图1｜具身空间推理

具身空间推理挑战

具身空间推理任务要求模型能够从一系列连续的视觉观察中理解并推理空间关系。

挑战一，感知与推理的强耦合

推理依赖于感知，连续的视觉观察对感知要求极高。若感知有误或出现幻觉，推理难以准确进行。

挑战二，时空关系复杂

视频包含复杂的时空关系，模型需发现跨帧物体关联，提取与推理任务相关的语义信息。例如导航至视野外目的地，需从历史观察推断位置，构建认知地图地图，制定计划确定方向，再决定具体动作，各环节都需处理复杂时空关系。

挑战三，第一人称视角观察

视角受限，聚焦观察者与环境关系；具身观测天然是序列的；存在空间连续性，帧间有大量冗余和重复信息。

（1）Outdoor

▲图2｜室外场景

Question: Navigation Instruction given at initial position: [Observe around the square area, then fly towards the highway, then turn left and land on the roof of the building on the left]. You move according to a series of movement instructions. What are you doing now?

A. I look around the square area.

B. I turn left and land on the roof of the building on the left.

C. I fly towards the road.

D. I fly over the park.

E. I land.

（2）I****ndoor

▲图3｜室内场景

Question: What will be the first-time appearance order of the following categories in the video: table, backpack, trash bin, lamp?

A. table, backpack, trash bin, lamp

B. backpack, lamp, trash bin, table

C. lamp, table, trash bin, backpack

D. backpack, table, trash bin, lamp

*方法*

▲图4｜Embodied****-R****协同框架

Embodied-R框架创新性地结合了大****尺寸视觉-语言模型（Vision-Language Model, VLM）用于感知，以及小****尺寸语言模型（Language Model, LM）用于推理。该设计的出发点来自于：

1、多模态感知能力与基座模型尺寸强相关，大尺寸多模态模型训练算力花销大。

2、多模态模型的训练难度大于语言模型。一方面由于模态对齐；另一方面由于多模态输入通常造成Input Token的急剧增长，训练算力要求随之快速上升。

通过分离感知与推理，我们既能充分利用大规模VLM强大的感知能力，又能通过资源高效的的小规模LM，借助强化学习激活具身推理。

对于强化学习的奖励建模，我们设计了三种奖励类型：格式奖励、准确性奖励和逻辑一致性奖励。分别引导模型学习 “思考 - 回答” 推理模式、推理准确率、以及推理与答案间的逻辑一致性。

特别地，我们引入新颖的逻辑一致性奖励，以应对训练中观察到的奖励hacking行为，确保推理过程与最终答案的逻辑自洽。

*结果*

▲图5｜实验结果

▲图6｜案例分析

研究主要关注三维物理空间运动中的推理问题，选用 UrbanVideo-Bench（无人机航拍的室外数据）和 VSI-Bench（室内第一人称导航数据）作为主要的训练和测试数据集，涵盖室内外多种场景。

从每个数据集中选取四种任务类型，具有长推理链和低准确率特点。Embodied-R 的基座模型为：VLM 选用 Qwen2.5-VL-72B-Instruct，LLM 选用 Qwen2.5-3B-Instruct。

实验表明，Embodied-R的推理增强模型在性能上显著优于现有模型，相比商用多模态大模型提升超 10%，相比 SFT 训练模型提升 5% 以上。

并且，Embodied-R 展现出类人的推理方式，例如：

精确推断自身与周围环境的空间相对关系；
将问题分解，以“分-总” 结构组织答案，逻辑清晰；
整合不同帧的语义信息，进行综合分析；
严格遵循先推理后输出答案的结构化流程。

消融实验说明所设计模块的有效性。

*一些有趣的结论*

▲图7｜进一步讨论

*推理能力、**Aha Moment**与回答长度**之间是什么关系？*

现有研究将 Aha Moment的出现以及文本长度上升视为推理能力的关键指标，但在图像推理等多模态任务中较少出现。
这可能说明：在具身空间推理任务中，LM 模型训练会趋于最优文本输出分布，简洁推理模式更利于任务。

*直接对**VLMs**进行**RL**训练**效果如何？*

尝试对 Qwen2.5-VL-3B-Instruct 模型直接 RL 训练，相似参数和时间下，VLM 表现远逊于 LM，测试集准确率仅 43.8%。
VLM 感知能力有限，制约推理提升。

*准确率**+**格式奖励是否足够****？*

Deepseek-R1-Zero 表明只需准确率和格式奖励即可引导模型正确推理，但我们发现模型存在奖励Hacking行为——答案优化但推理过程与答案不一致。
为使推理与答案对齐，我们引入逻辑一致性奖励，测试集逻辑一致输出比例从 46.01% 提升至 99.43%。
该机制有望拓展到其他容易出现答案hacking行为的推理任务。

*RL**与**SFT**训练后的模型**泛化**到分布外**具身任务时**表现如何？*

引入两个分布外数据集：EgoSchema和MVBench中的第一人称任务，二者与训练集在任务内容和场景特征上差异显著。
RL训练模型在两个数据集上均有泛化能力，Embodied-R框架下的RL训练语言模型在EgoSchema数据集表现媲美Gemini-2.5-Pro。
SFT训练模型在 EgoSchema 提升，但在 MVBench 下降，表明RL可能是更具泛化能力的后训练方式。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述