基于变化预算的抓取系统设计

如何思考抓取系统—基础抓取与变化预算

1 抓取系统和变化

创建多功能的抓取能力是机器人研究中的一个长期挑战。尽管机器人在结构化环境中（如工厂）能够有效抓取，但它们需要具备更强的适应性，以应对非结构化环境中的物体，因为在这些环境中，多种因素会影响抓取成功，包括各种各样的物体形状和尺寸、不完整且常常不准确的感知、表面摩擦和质量的不确定性以及机器人的定位误差。该问题的高维度使得理解抓取系统的性能和局限性变得困难。分析方法（如抓取仿真和可操作性分析）存在局限性，因为真实环境中包含太多物体，且每个物体涉及大量参数，难以进行有效的评估。标准化物体集合可用于实验比较不同系统的性能，但从这些实验结果外推以预测在新物体上的表现并不直接可行。因此，目前缺乏有效的系统级度量指标，这成为技术进步的主要障碍，因为理解抓取系统的能力和局限性对于比较不同方法的优势以及评估机器人各子系统内部和之间的设计权衡至关重要。因此，目前机器人研究人员只能基于对先前结果的直观分析来指导其研究方向。

本文的目的是建立一个用于理解抓取系统性能和设计高效系统的框架。在本文的前半部分，我们将抓取问题视为克服变化，并将其映射到传统的机器人子系统分解上。这迫使我们明确检查哪些变化源是重要的，并提供了一种理解应对变化的不同方法之间权衡的方式，这对于比较不同系统的性能特别有用。

在本文的后半部分，我们使用这种方法来构建设计抓取能力的方法论。首先，我们从一个基础抓取开始：即特定手指构型作用于特定物体上的抓取。其次，我们设计运动序列、感知和被动力学的组合，以使抓取获取对物体形状和位姿、感知以及机器人控制中的变化具有鲁棒性。第三，我们分析基础抓取对局部变化的鲁棒性，以确定其吸引域，即在仍能实现良好抓取的前提下所能容忍的变化范围。最后，我们将此吸引域视为一种变化预算，可在各子系统之间进行分配，以指导感知误差、机器人不准确性与物体变化之间的系统权衡。为了将系统能力扩展到更广泛的物体和变化范围，可以增加更多的基础抓取。该方法的主要优势在于，在如此具体的上下文中，局部变化的影响可以被理解、量化，从而能够在不同系统之间进行比较。

2 将抓取问题表述为克服变化

最终目标是构建一种能够在任何地方对任何物体进行操作的抓取系统。挑战在于克服来自多种因素的变化性，包括物体在形状、摩擦、质量及位姿上的差异；由于相机分辨率有限、分割误差和遮挡导致的感知变异性；机器人臂和手指的定位误差；力传感器中的噪声和灵敏度限制；以及其他诸多因素。

在本节中，我们将概述机器人抓取系统的各个子系统如何协同工作以应对这种变异性。这为理解不同方法之间的相对优势以及子系统内部的权衡提供了一致的框架，从而推动抓取系统开发的逐步进步。

2.1 系统分解

作为分析的基础，将机器人抓取系统的典型子系统进行分解是很有帮助的，如图1所示。当然，这仅展示了主要的交互关系（实际系统的数据流更为复杂），大致遵循经典的“感知—思考—执行”结构。

任务接口向用户展示机器人的通用功能，以便他们能够调用机器人执行特定任务。这可能非常简单——例如如何移动单个机器人关节——也可能更为复杂——例如机器人感知到哪些物体，如何抓取它们等。机器人无需自主补偿所有变化源即可发挥作用，但它们能够自动克服的变化越多，任务接口就越简单，且在静态环境之外的功能表现也越好。

感知系统从混乱的现实世界中收集并解释数据，以创建待抓取物体及其周围环境的内部模型。这既能通过建立精确的内部模型来消除变化，也可能因感知不准确性而引入变化。然而，模型越详细，创建起来就越困难或耗时：获取物体正面的简单二维视图，比包含物体背面的精确三维几何模型更容易。

规划-推理系统会规划低层次动作，例如如何在物体上放置手指以克服形状或姿态的变化，以及如何安排纠正动作的顺序。这些规划基于感知系统创建的模型、任务接口提供的信息以及任何a priori知识。

底层控制系统是与外部世界交互的接口，例如手臂和手部硬件、用于关节的闭环控制器，以及能够自动适应有限范围外部变化的被动或顺应性机构。为此类控制选择合适的基底，会显著影响系统其余部分所能容忍的变化程度——刚性位置控制执行器在感知系统出现定位误差时会产生较大的力，而力控制回路则可能需要更细致地推理如何利用环境可供性来维持稳定性。

2.2 从变化角度看待机器人抓取结果

使用此框架，以往关于抓取的研究，尽管涉及多样且看似不相关的主题，都可以被视为致力于应对变化。

传统的机器人工业应用通过精心设计环境和使用重型刚性机器人，来消除物体和机器人运动中的变化。这种对物体和环境变化的严格限制，使得工业应用可以采用简单的感知、规划和控制系统。任何在不同物体之间的变化，例如将生产线切换到新产品，都必须通过任务接口来处理。通常，这需要由经过高度训练的技术人员使用底层编程或示教器，针对每个新物体重新配置系统。

基于仿真的规划器 （例如 GraspIt 和 OpenRave）通过寻找合适的手指放置位置以实现良好抓取，来补偿物体几何形状和位姿的变化。系统会采样大量不同的手部姿态，并使用诸如epsilon质量[10]和可达性等抓取度量来评估其质量。这些规划系统对感知系统提出了较高要求，因为他们需要精确且完整的物体几何模型；例如，感知系统必须通过将先验 apriori物体库中的物体模型拟合到点云簇上来补全原始传感器数据。大多数基于仿真的规划方法并未补偿感知或机器人控制系统不准确所导致的变化，尽管 Weitz 等人[29]的近期工作已将这一点纳入抓取质量度量中。

抓取位点策略 通过在不同物体上搜索一致的抓取位点来补偿物体位姿和几何形状的变化。这种方法简化了感知系统，因为它无需详细的或先验的a priori物体模型。相反，该方法试图直接在原始感知数据中寻找可接受的抓取位点。Saxena 等人直接在二维图像数据[27]中搜索抓取位点。通过在仿真中手动标注一组物体上平行夹爪的抓取点，他们在各种位姿和光照条件下模拟场景，从而创建用于抓取位点的视觉分类器。这些分类器在仿真之外的新物体上表现良好。Klingbeil 等人则利用激光测距数据，使用模板搜索与平行夹爪[17]形状匹配的区域。Herzog 等人提出了一种类似但更广义的方法[12]，该方法基于通用抓取位点模板并在不同方向上进行搜索。这使得可以从人类示教中复用更复杂的抓取方式，并展示了使用平行夹爪和 Barrett 手在两种不同预形状下的实验结果。现有文献并未说明所识别的抓取位点能容忍多大程度的变化，但此类系统的整体性能较强。

启发式抓取规划器 使用经验规则来确定在何处放置手以补偿变化的几何形状和位姿。例如，Hsiao 等人创建了一组围绕刻板姿态的候选抓取，并根据抓取位置处感知数据的质量、导致物体倾倒的可能性以及与夹持器当前位置的接近程度等因素对其进行评分[13]。这种方法还降低了对感知系统的要求，因为不需要详细的物体模型。理解这些系统的功能和局限性具有挑战性，因为很难将一系列启发式方法与它们在物体形状和位姿变化范围内的成功应用联系起来；大多数论文仅针对 ad hoc物体集合表征系统性能。

拟人手 可能是图中底层控制系统最复杂的例子。这些手试图模仿人类的功能，具有三到五个高度灵巧的手指，能够朝任意方向施加接触力[4, 20,23]。原则上，这些手的多个自由度可用于应对广泛的物体变化。然而，如何在非结构化抓取中利用这种复杂性仍难以掌握。多种因素导致了这一挑战。与规划和感知系统所需的交互尚未被成功定义或实现。已有大量理论工作致力于通过控制接触力来补偿物体几何形状和任务约束的变化；Shimoga[28]对此进行了很好的综述。然而，尽管这为理解几何变化的作用提供了一种优雅的方式，但这些复杂机器的底层控制却受到摩擦、肌腱动力学和较差的接触感知等因素的限制。拟人手很少在受控研究环境之外得到应用。

欠驱动手 通过机械设计[1, 2, 8, 18]来补偿物体位姿、物体几何形状、感知误差以及臂定位误差的变化。手指的顺应性使其能够被动适应物体几何形状的细节，从而减轻感知和规划系统的负担。[7] 奥德纳等人在[19]中提出的抛硬币原始动作等近期研究已将这种方法从抓取扩展到了操作领域。

这里考察的最后几个示例来自DARPA自主机器人操作竞赛中的三支团队，这些团队开发了用于使用已知的物体和工具集执行一组预设任务的系统[11]。这些系统是迄今为止提出的最先进且最完善的自主抓取系统之一，因此它们应对变异性的方法尤为值得关注。

哈德森等人[14]构建的系统主要利用感知系统来克服机器人臂定位和相机配准中的变化。他们使用无迹卡尔曼滤波器对机械臂实际位姿与预期位姿之间的差异进行模型化，并广泛采用apriori物体模型来补偿被遮挡的相机视图。这种方法有效补偿了来自底层控制系统（引入的定位误差可达数厘米）和感知系统的变化，该团队在竞赛中取得了顶尖成绩。然而，该系统对物体变化的应对能力有限；抓取规划器使用每个物体的完整三维模型，通过模拟哪些手部位置能最大化接触表面来生成抓取候选库，然后针对每个物体手动剪枝这些抓取候选。

沙尔等人创建的系统主要利用底层控制系统来克服机械臂定位以及物体几何形状和位姿的变化。在他们的方法中，使用“动态运动基本动作”（DMPs）将抓取从位置域重新表述为力域。由于DMP仅需少量参数，这种表述方式还能有效利用机器学习来优化抓取计划。这些计划本身由示教生成。由于力域执行相比位置域执行需要更少的物体信息，因此该方法更容易适应未知物体。尽管在[26]中以类似于a priori的方式使用了物体模型，哈德森等人的方法（使用迭代最近点匹配来对齐模型和传感器数据）随后被团队扩展为一种无模型方法[12]。需要进行广泛的校准程序，以补偿用于测量力的应变片在响应上的差异。

Bagnell 等人[3]通过检测错误并使用称为“机器人任务行为架构”（BART）的框架中实现的行为树来序列化纠正措施，从而克服了变化。该方法依赖于创建良好的任务接口，以在规划—推理系统中对基本动作进行序列化和组合。

因此，这三个团队在其解决方案中关注了不同的子系统，第一个团队专注于感知系统，第二个团队专注于底层控制子系统，第三个团队则专注于任务接口和规划—推理子系统。通过考虑应对变异性的机制，我们可以理解为何这些团队尽管采用了截然不同的方法，却仍实现了大致相当的性能。

3 基础抓取和变化预算

我们还可以前瞻性地应用该框架来设计和分析新的机器人抓取能力，同样将抓取能力定义为在变化（物体几何形状、感知噪声等）条件下成功执行抓取的能力。根据这一定义，实现更广泛功能的关键挑战在于理解哪些变化会影响抓取的成功，并设计能够对此进行补偿的系统。为此，我们颠倒了常规顺序：不是从物体出发确定如何抓取它，而是从一种特定的手指构型——即基础抓取——出发，确定其能够奏效的物体变化范围。其次，我们调动整个机器人系统（感知、规划、底层控制系统），使该抓取方式能够容忍局部变化并仍能实现成功抓取。第三，我们分析这种变化的边界，以确定围绕模板构型的吸引域。这既是对抓取能力的一种度量，也是衡量该抓取适用范围的指标。为了扩展可抓取物体的变化范围，我们可以创建一组具有不同吸引域的基础抓取。

主要优势在于，将变化视为相对于基础抓取的偏差进行局部分析时，更容易理解。这意味着可以更快地确定哪些变化源在决定抓取成功与否方面占主导地位。同时，也更容易看出如何利用机器人的全部能力来应对这些变化，并且更易于确定系统抓取相关物体能力的边界。在接下来的部分中，将通过几个示例来说明该框架。

3.1 俯视三指尖抓取

在第一个示例中，我们研究 i-HY 手[25]（图2）对放置在桌子上的盒状物体进行的俯视指尖抓取（图3）。该手具有三个柔顺欠驱动手指，每个手指由一个独立执行器控制，此外还有一个第四执行器用于控制其中两个手指的方向。手指上装有触觉传感器，近端关节配备磁性编码器；远端关节的偏转可通过在近端关节和执行器上的滑轮处测量到的肌腱位移来确定。在此基础抓取中，手指被放置在物体的对置表面上。

确定物体变化范围

现在，我们分析限制成功抓取的主要变异类型。这种分析的目的不是为了展示一种能够克服任意变化源的方法，而是为了说明如何通过此类分析来轻松理解特定抓取系统的能力与限制。

系统。在这种抓取中（像许多其他情况一样），主导因素是物体几何形状和物体位姿。基础抓取定义为手指与手良好对齐（图4a），但如果由于感知或控制系统的不准确导致物体位姿发生旋转，则手指接触位置将发生偏移和旋转（图4b）。通过对手指运动和表面法线的简单分析，可以揭示此抓取将成功的位姿变化范围。

同样，如果物体形状不是直角矩形盒，抓取仍可能成功。关键的观察点是，影响抓取的物体几何形状部分仅限于手指接触的接触面块（图4c）。因此，当以抓取作为参考坐标系（而非像传统抓取分析中以物体为参考坐标系）时，来自物体、机器人控制和感知的所有几何变化都可以归结为一个量：手指接触物体的表面区域中的局部变化。再次通过分析手指运动和表面法线，可以确定该基础抓取在何种形状变化范围（以及形状与位姿变化的组合）内将成功。

扩展抓取变化范围

为了使该抓取对局部变化更具鲁棒性，我们随后调用机器人的其他子系统，特别是底层控制系统。需要考虑的一个重要变化是物体的垂直位置，这是由于感知系统误差、机器人臂相对于视觉系统的未校准、机器人控制误差等因素造成的。我们可以通过将手指位姿参考至支撑物体的桌面来补偿垂直方向的变化（图5）。这通过从上方执行受保护移动（即接近直至接触）来实现，利用指尖上的触觉传感器判断何时发生接触。

这种方法消除了感知系统对物体高度进行精确估计的需求。此外，在手指闭合时沿桌面滑动——该方法利用手指的顺应性来补偿可能存在的微小垂直位置变化，防止较薄的物体在手指闭合时从指尖下滑。

我们可以通过再次使用受保护移动，来扩展基础抓取对物体宽度（即接触面块）变化的容忍度。当手指接触到桌面后，手部会逐步抬升，同时保持指尖与物体的接触。当远端连杆中的触觉传感器检测到与物体侧面接触时，控制器便可从闭合手指转为增加抓取力。或者（或同时），关节位置信号可指示指尖已停止闭合。请注意，这些应对垂直高度和宽度变化的策略都基于底层控制的策略性应用——无论是保护性移动还是顺应性接触，都不需要感知系统所创建的世界模型提供详细信息。

在根据手指构型以及底层控制行为定义了基础抓取之后，我们可以为每个重要变化参数建立可容忍变化量的定量边界。手指在闭合时必须与物体接触，这意味着物体宽度必须适配于手指内部，以确保获取策略成功（图6-左），并且物体必须在侧向超出两个相邻的手指（图6-右）。这形成了该抓取对物体尺寸变化可容忍的性能边界，如图6中阴影区域所示。类似的分析也可应用于物体方向、摩擦、质量等参数的变化——其中所包含因素的选择取决于特定抓取中的主导平衡。我们提出使用术语吸引域来描述抓取所能容忍的变化范围。

为了说明这种方法，进行了一个简单的实验，如图7所示。将一个小物体（内六角扳手组，约25 x 25 x 75mm）放在桌子上，手执行上方指尖基础抓取。当手在各个方向上移动时，该过程被重复进行。图7-左显示了在宽度方向上移动的结果，图7-右显示了侧向移动的结果。在每个图中，红线高于位移轴的高度表示抓取成功区域，这与预测抓取成功的简单分析结果高度吻合。

变异预算

在确定了变异极限之后，可以将该吸引域视为一个变化预算，并将其分配给特定应用中的多种变异来源（图8）。例如，可以确定视觉感知和机器人控制子系统局限性所带来的不确定性，并从总吸引域中减去。剩余区域则定义了系统能够有效应对的物体变异范围——即整个系统的变异性能。这种方法使得可以评估不同子系统之间的定量权衡，并确定例如低精度臂控制或高分辨率 RGB-D成像可用于可抓取物体的范围。它也可用于比较不同的抓取策略和抓取系统。

3.2 其他基础抓取

一种基础抓取仅能覆盖有限（但明确）范围内的物体；而通过组合多种基础抓取可实现更广泛的能力。例如，过顶三指指尖抓取无法抓取小于相邻手指之间间距的物体（图9a）。然而，可以基于捏取构型构建另一种基本动作，使两个手指旋转并在中心处相接（不使用拇指），如图9c所示。这扩展了手抓取小物体的能力。可以采用相同的方法来产生对局部变化的容差（保护性移动、顺应性），但需要注意的是，对于这种抓取方式，影响变化的主导平衡有所不同。两个相对的手指抵抗由质心偏移引起的力矩的能力较弱，因此物体的质量及其与质心的对齐程度相比三指抓取更为重要。

4 讨论

本文的目标是提出一种方法，用于分析机器人抓取这一复杂问题中的主导效应。尽管人们已付出大量努力试图为抓取建立统一的理论框架，但尚未取得广泛成功。鉴于机器人抓取所涉及物理现象的复杂性，这一点或许并不令人意外——它包含了不完整的感知数据、复杂的相互作用力学（多变的表面摩擦、顺应性、闭环运动链）、多样的边界条件（杂乱环境、可操作性）以及任意范围的物体几何形状。在短期内实现有效功能的关键在于理解问题在何处可以被简化，以及如何量化这种简化的功能。

文献中一些特定抓取原语的成功反映了这一观察结果。尽管它们并未阐明对整体系统设计的影响，但迄今为止已实现了较为一致的功能性。保护性移动的广泛使用可被视为利用局部上下文缩小变化范围，从而有效克服变化的一个例子，包括平行爪夹持器[13]、顺应性手部[21, 24]以及更传统的刚性手部[9]的应用。贾恩和肯普使用的overhead捏握（头顶捏握）[15]是另一个例子，其中刻板化的动作使得能够使用“低维任务相关特征”进行控制。另一个例子是多加尔和斯里尼瓦萨提出的推抓原语[6]。在这种情况下，利用滑动摩擦接触将一个较高的物体在强力抓取中对齐。此时，该抓取原语的具体上下文使得分析摩擦对物体运动的影响成为可能，从而计算出使物体在手中对齐所需的平移位移。卡泽米等提出了一种力顺应性抓取技能，旨在将小物体从平坦支撑面提升并转入强力抓取[16]——该表面的上下文使得理解何处使用顺应性来校正相互作用力变得容易，这一基本思想被DARPA自主机器人操作挑战赛[14, 26]中的大多数团队所采用。

在所有这些情况下，所缺少的是一种比较这些不同基本动作的良好方法，以及一个用于理解如何创建更全面能力的框架。需要注意的是，在许多情况下，建立变异容忍度的内边界可能就足够了——这种近似可能会低估系统性能，但不会导致抓取失败。

总之，我们提出了一种利用变化作为视角来理解机器人抓取中通用性的框架。首先，我们证明了系统克服变化的能力为比较和评估不同抓取系统的性能提供了一种方法，并将其应用于一系列领先的实例。其次，我们提出了一种抓取系统设计的方法论，其依据是以下观察：针对局部变化进行设计比对全局变化创建有效的参数化更为容易。围绕特定抓取构型分析变化，能够提供一个局部上下文，使得构建一组可覆盖可量化物体变异范围的基础抓取变得可行。这是从ad hoc方法迈向更严谨的系统设计与分析的重要一步。