突破空间限制！从2D到3D：北大等开源Lift3D，助力精准具身智能操作！

文章链接：https://arxiv.org/pdf/2411.18623
项目链接：https://lift3d-web.github.io/

亮点直击

• 提出了Lift3D，通过系统地提升隐式和显式的3D机器人表示，提升2D基础模型，构建一个3D操作策略。

• 对于隐式3D机器人表示，设计了一个任务感知的MAE（Masked Autoencoder），它掩盖了任务相关的可操作性区域，并重建了深度几何信息，从而增强了2D基础模型的3D空间感知能力。

• 对于显式3D机器人表示，提出了一种2D模型提升策略，利用2D基础模型的预训练位置嵌入（PEs）来编码3D点云数据，用于操作模仿学习。

总结速览

亟需解决的问题：

• 缺乏大规模的机器人3D数据：现有的3D数据资源不足，限制了机器人在复杂空间任务中的应用。

• 空间几何信息的丢失：在处理和提取3D特征时，可能会丢失一些重要的空间几何信息，影响机器人对环境的感知与操作。

提出的方案：

• Lift3D框架：该框架通过逐步增强2D基础模型，结合隐式和显式的3D机器人表示，来构建一个鲁棒的3D操作策略。

  • 任务感知mask自动编码器：首先设计了一个mask自动编码器，通过掩盖任务相关的可操作性区域，重建深度信息，从而增强2D基础模型的隐式3D机器人表示。

  • 2D模型提升策略：通过建立输入3D点与2D模型位置嵌入之间的映射关系，使Lift3D能够将3D点云数据直接编码到2D基础模型中，从而构建显式的3D机器人表示。

应用的技术：

• 任务感知mask自动编码器：用于掩盖和重建任务相关的3D特征，增强模型对空间关系的理解。

• 自监督微调：通过自监督学习的方式对2D模型进行微调，以增强其对3D空间的感知。

• 2D模型提升策略：建立2D与3D的映射关系，将2D基础模型与3D点云数据结合，提取3D机器人表示。

达到的效果：

• 提高3D操作策略的鲁棒性：Lift3D能够更好地处理和理解3D空间中的复杂配置，构建更加稳定的机器人操作策略。

• 提升性能：在多个仿真基准和实际场景中，Lift3D的表现 consistently 优于现有的最先进方法，展示了在3D机器人操作中的优势。

这个框架通过增强2D模型的3D能力，减少了空间信息的损失，在实际应用中展现了显著的提升。

Lift3D Method

本节介绍了提出的Lift3D框架的问题陈述。接着详细介绍了任务感知的MAE和2D模型提升策略，这两者分别增强了隐式和显式的3D机器人表示。

问题陈述

对于隐式的3D机器人表示，遵循之前的MAE方法，首先将mask图像输入到2D基础模型中。然后将输出特征输入到解码器进行深度重建，，其中。这个过程增强了2D模型的3D空间感知能力，并有助于后续的3D模仿学习。

对于显式的3D机器人表示，直接利用2D基础模型来编码3D点云数据和机器人状态。然后使用一个简单的策略头来预测动作。遵循之前的操作研究，采用了7自由度(DoF)的动作表示机器人臂末端执行器的姿态，包括3自由度的平移，3自由度的旋转，以及1自由度的夹爪状态（开或关）。

任务感知masked自动编码器 (Task-aware Masked Autoencoder)