Zero-Shot Task-Oriented Grasping with Large Language Models through Geometric Decomposition

本文是LLM系列文章，针对《ShapeGrasp: Zero-Shot Task-Oriented Grasping with Large Language Models through Geometric Decomposition》的翻译。

摘要

面向任务的陌生物体抓取是机器人在家庭环境中动态抓取的必要技能。受人类通过对这些物体的形状和结构的直觉来抓取这些物体的能力的启发，我们提出了一种新颖的零样本面向任务的抓取方法，利用目标物体的几何分解为简单的凸形，我们在图结构中表示这些形状，包括几何属性和空间关系。我们的方法使用最少的基本信息——对象的名称和预期任务——来促进零样本面向任务的抓取。我们利用大型语言模型的常识推理能力，动态地为每个分解的部分分配语义，然后推理每个部分对预期任务的效用。通过在真实世界的机器人平台上进行的大量实验，我们证明了我们的抓取方法的分解和推理管道能够在92%的情况下选择正确的部分，并在我们评估的82%的任务中成功抓取物体。我们的项目网站上提供了其他视频、实验、代码和数据：https://shapegrasp.github.io/.

1 引言

2 相关工作

3 基于形状的GRASPING

4 实验

5 结论、局限性和未来工作

在这项工作中，我们提出了ShapeGrasp，这是一种新颖的方法，它对对象的几何组成进行细粒度的语义推理，以找到合适的面向任务的部分和相关的抓握。我们将对象的几何组成新颖地表示为基本形状图，使LLM能够有效地推理每个部分的语义意义和任务效用，最终为所需任务选择最合适的部分。通