SAM-E: Leveraging Visual Foundation Model with Sequence Imitation for Embodied Manipulation

发表时间：PMLR 2024

作者单位：清华深圳

Motivation：目前的方法同时使用3D表示和多视图2D表示来预测机器人末端执行器的姿态。然而，它们仍然需要大量的高质量的机器人轨迹，并且在看不见的任务中泛化能力有限，在长视距推理中执行效率较低。

解决方法：本文提出一种新的机器人操作体系结构，利用视觉基础模型进行可推广的场景理解和序列模仿，用于长期动作推理。 采用在大量图像和可提示掩码上预训练的分段任意 (SAM) 作为提取任务相关特征的基础模型，并对机器人数据采用参数高效的微调来更好地理解具体化场景。提示条件SAM编码器通过根据任务描述提取与任务相关的视觉特征来适应语言指令操作。 为了解决长视距推理，我们开发了一种新的多通道热图，可以在一次传递中预测动作序列，特别是提高执行效率。 受最近关于利用网络规模数据集的视觉基础模型的研究的启发，并展示了稳健的零样本和少样本泛化，我们进一步深入研究了多视图架构，以提高语言跟踪任务中 3D 操作策略的泛化能力和执行效率。

实现方式：

Motivation：主要解决如何理解3D的问题。

做法：从multi-view architecture来增强泛化性和执行效率。

重要猜想：action具有temporal-smooth assuption，因此只预测一个动作会导致前后矛盾。

重大区别：在i