3D Diffusion Policy

发表时间：Sep 2024

论文链接：https://readpaper.com/pdf-annotate/note?pdfId=2520925932286952960&noteId=2606956515663564544

作者单位：Shanghai Qi Zhi Institute

Motivation：Imitation learning provides an efficient way to teach robots dexterous skills; however, learning complex skills robustly and generalizablely usually consumes large amounts of human demonstrations.（健壮和可概括地学习复杂的技能通常会消耗大量的人类演示，也是从人类演示数据需要太多的角度进行切入）。

解决方法：为了解决这个具有挑战性的问题，我们提出了 3D 扩散策略 (DP3)，这是一种新的视觉模仿学习方法，它将 3D 视觉表示的力量整合到扩散策略中，这是一种条件动作生成模型。DP3 的核心设计是利用紧凑的 3D 视觉表示，从具有有效点编码器的稀疏点云中提取。with just 10 demonstrations and DP3 outperforms its 2D counterpart by a relative margin of 24.2%（对比2D的DP）.

DP3 使用直接高效的 MLP 编码器将稀疏采样的点云编码为紧凑的 3D 表示。随后，DP3 将随机噪声去噪为连贯的动作序列，以这种紧凑的 3D 表示和机器人姿势为条件。这种集成不仅利用了 3D 模态中固有的空间理解能力，还利用了扩散模型的表达能力。

it exhibits several notable advantages