集成混合运动与大功率柔性操作的半人马救灾机器人(4)——项目成果展示

来源 | 知乎

作者 | 任赜宇

接着半人马CENTAURO项目介绍系列的前三篇文章（1. 机电系统平台的搭建；2. 软件框架与操作平台；3.腿轮混合运动与双臂协同操作的控制器），此文将会总结与介绍该项目取得的成果与经验心得。

---

任赜宇：集成混合运动与大功率柔性操作的半人马救灾机器人(1)——机电系统平台介绍

任赜宇：集成混合运动与大功率柔性操作的半人马救灾机器人(2)——软件框架与操作平台介绍

任赜宇：集成混合运动与大功率柔性操作的半人马救灾机器人(3)——自主运动控制器介绍

---

首先推荐大家观看以下视频，该视频摄于2018年10月CENTAURO项目的最终验收现场，基本涵盖了CENTUARO项目截至2018年底的所有成果。

意大利IIT半人马机器人CENTARUO项目成果展示

对CENTAURO机器人性能（项目完成质量）的最终测试是通过如下5个大类任务完成的：

• 步行任务（Locomotion Task）

• 操作任务（Manipulation Task）

• 移动+操作混合任务（Combined Task）

• 自动化任务（Autonomous Task）

• 外骨骼遥操作任务（Tele-presence Task）

以上的5个任务均是没有经过事先预演，严格来说是在最终进入项目验收现场才被告之。欧盟ERC（European Research Council）对CENTAURO项目把控很严格，特地为项目的验收寻找了一家专业且中立的德国核事故应对公司——KHG（Kerntechnische Hilfsdienst GmbH），这是一家每年给德国政府提供核事故应对方案及日常人员训练服务的公司。

该公司会针对实际事故中需要完成的常见任务，同时结合当前机器人现有的技术水平，将以上每个大类任务具体细化成若干个小任务（在下文中详细介绍），每个小任务都会由专业的评判人员打分与计时。而在专业评判人员的选择上，欧盟严格实行承办单位所属国回避原则——选择与项目参与Affiliation来源国都不同的中立国科研人员来担任裁判。同时，定量地要求裁判对各个任务进行打分，再将各个具体的分数映射到相应负责的机构，并记录在案，此分数将会影响到各机构未来再次申请欧盟项目的优先程度。

以上，可见欧盟ERC对项目验收上的严谨与公正，不禁让作者感叹其完善的科研体系——即通过相应的制度：1）如选择中立公司提供场地与任务要求、选择来自中立国家的评判人员，尽可能地避免项目验收上的人情因素；2）通过分数量化项目完成的好坏，并直接挂钩到未来再承接项目的优先权，从Funding的来源上去督促你高质量地完成项目。

下文是各个任务的具体解读，会包括：1）任务是如何制定的；2）我们大致是如何完成的；3）完成的质量如何；4）以及存在的问题，文字篇幅较长且内容都是上文视频所出，赶时间或者不需深入了解的小伙伴可阅读至此即可。

---

步行任务（Locomotion Task）

步行通过无序路障场地（Step Field）

图1. Locomotion Task - Step Field

这个任务的特点在于所有金属砖块和木棍的无序排放，尤其是较大尺寸的木棍增加了难度，所有上层的运动规划都是实时的，实时的代价是这段将近3米的障碍物通行消耗了87分38秒。其中步态的控制器是基于驾驶员监管的半自动，即控制器基于视觉信息自动计算落脚点，但驾驶员拥有每个落脚点的纠正权。

【Tip】关于机器人双臂处于向后姿态的原因：机器人头部和上身腹部的视觉设备很难观测到后脚落脚点的情况，而我们在双臂末端的执行器上有额外的视觉设备（用于给末端精确操作提供视觉信息），在这个应用场景下，就处于双臂向后的姿态提供两后腿落脚点的视觉信息。

20cm高的3阶楼梯爬行（Staircase）

图2. Locomotion Task - Staircase

对于此爬楼梯的任务，我们是预先规划好了一套预定义动作的原函数（pre-defined motion primitives），而输入变量则为通过视觉测量的楼梯层高 h与宽度d (机器人前进方向)，同时驾驶员需要使用摇杆驾驶机器人到达靠近楼梯的目标区域。

50cm宽的空隙跨越（Gap）

图3. Locomotion Task - Gap

对于该50cm空隙跨越的任务，同样我们也预先规划好了相关的原函数（输入变量为Gap的宽度 l），驾驶员也需要使用摇杆驾驶机器人到达目标区域。额外的，由于这个任务是具有一定的风险，在实际跨越之前我们会使用数字映射的情景预测（Situation Prediction with Digital Twins）把基于不同gap宽度的跨越在仿真环境中先跑一遍，以降低风险。

【Tip】关于此间隙50cm宽度的数值选择：Centauro机器人的单腿长度是81.5cm，评测公司KHG要求跨越的Gap宽度不低于机器人腿长的50%，即40.75cm。我们在仿真环境中认定CENTAURO机器人能够完成50cm的跨越，因此在实际环境中选择了这个宽度，并做了实际Demo验证。

操作任务（Manipulation Task）

在以下的操作任务中，相应的控制都是通过操作人员的6D鼠标遥操作进行实现。

消防水带连接（Fire Hose）

图4. Manipulation Task - Fire Hose

在连接消防水带的任务中，手部操作分为如下两个步骤：首先是通过全驱动的Schunk灵巧手进行水管与喷嘴的连接（精确orientation的定位），如图4左；再接着使用欠驱动的HERI II Hand操作扳手进行Robust的高摩擦密封扭转，如图4右。

标准与CEE插头插拔（Standard & CEE Connector）

图5. Manipulation Task - Standard Connector

图6. Manipulation Task - CEE Connector

在如图5的标准插头插拔的任务中，难点在于基于视觉与末端执行器的精确定位与运动执行上，即对插头和插座朝向的一致性有较高的要求（1ms级的定位精度）。这种级别的定位精度在固定基座、刚性元件与场景预先规划好的工业机器人应用是属于入门级的，但在移动基座、柔性元件（末端欠驱动机械手+关节SEA模块）与实时遥操作的场地机器人的应用场景还是很有挑战性的——尤其是柔性元件和实时遥操作会给末端的定位精度带来不可避免的误差。图5这样一个人类可能只需要10秒的插插头的任务，CENTAURO在遥操作下花费了6分50秒，惭愧地讲和人类的运动能力及智能差距甚大。

在如图6的CEE插头插拔的任务中，CEE版的插头是固定在基座上，并且具有需要外掀的盖子。这就要求我们使用欠驱动的HERI II Hand打开插头的盖子，接着再完成插头的连接。这个任务中比较有挑战性的是避免末端执行器与外界的碰撞，如下动图：在实际的HERI II Hand接近CEE插头过程中，手部的相机已与外界发生碰撞并损坏。

图7. Hand上的相机与外界发生碰撞损坏

在以上两个双臂协同操作里，所给予驾驶员的反馈信息中，是不包含力反馈的，驾驶人员需通过视觉信息来粗糙判断物理层面的接触信息。在最后的外骨骼遥操作任务（Tele-presence Task）中，将引入力反馈信息进行遥操作控制。

铁链插销固定（Shackle）

图8. Manipulation Task - Shackle

这边的铁链插销固定是指机器人需要将一条铁链通过插销的方式连接到固定在墙面的金属环上，即如图8所示——Schunk灵巧手需握住金属环，使用欠驱动的HERI II Hand操作插销的任务，在插销插入金属环后需旋转进行螺纹连接。

使用电动螺丝机锁紧螺钉（Electrical Screw Driver）

图9. Manipulation Task - Electrical Screw Driver

在图9的任务中，比较有挑战性的是需要使用机械手操作电动螺丝机，即要求食指进行trigger motion，而另外欠驱动原理的HERI II Hand则需要做robust grasping来固定需要被螺钉固连的木板。整个任务过程花了10分钟完成，其中大部分时间是花在调整Schunk灵巧手抓取电动螺丝机的姿态中，因为当这个抓取姿态一旦有微小的偏差，就会造成Schunk灵巧手的食指进行trigger motion的失败——这种使用灵巧手操作商业电动螺丝机的方案是非常不成熟的，如果想要找可靠与低成本的解决方案，还是应该走专用集成电动螺丝机的夹持器方案。

使用电钻精确钻孔（Power Drill）

图10. Manipulation Task - Power Drill

在图10的任务中，最大的挑战在于【钻孔位置精确】这个点上。一个事实是，电钻在钻孔过程中会带来较大的自身震动，因此不适合欠驱动机械手去进行抓握——由于欠驱动机械手本身带来的关节柔性，会致使电钻在欠驱动机械手中相对其orientation进行随机改变，难以控制末端的精度。因此如上图10所示，我们使用了偏向全驱动原理的Schunk灵巧手，相应手指上 rigid的关节能够减少电钻震动带来的orientation改变的负面影响。但由于Schunk灵巧收本身抓取力的不足，还是会带来一个末端1cm左右的钻孔误差，导致我们在这个任务上得到的分数不高。同样如上，还是应该走专用集成电钻的夹持器方案。

移动+操作混合任务（Combined Task）

进入带锁的门（Door）

图11. Combined Task - Door

在如图11的任务中，机器人首先需要使用钥匙打开门锁，并旋转门把手推开门，最终使用全向轮移动进入门内。从图11的左图可以看到，我们给钥匙加了一个“适配器”，这也是从KHG公司得到的相关讯息——现有阶段的技术条件下，很难有灵巧手能够指尖施加很大的力给微小的钥匙，以用来打开门锁，这算是这个任务中的一个取巧。在这个混合任务中，手臂的末端操作是通过驾驶员的6D鼠标进行实现，而全向轮的移动则是通过手柄控制来实现。

踏上平台+开关阀门（Platform+Valve）

图12. Combined Task - Platform+Valve

在如图12的任务中，机器人首先被要求使用腿足stepping踏上平台，再实现阀门顺、逆360°的旋转以模拟开关阀门的运动。CENTAURO踏上平台的这个stepping动作使用了自主腿轮运动控制器，上半身的操作则是通过前文提及的基于上身外骨骼套装的遥操作。

这里要着重提及一下：由于外骨骼遥操作硬件传递误差的积累（外骨骼套装的硬件误差+机器人本体双臂的误差），再加上驾驶员视觉上的误差及通信上的延迟，导致末端执行器在旋转阀门的任务中，存在大量的与外界的物理交互（即碰撞）——如下动图13。要感谢HERI II Hand欠驱动原理提供的柔性，才能保证机械手本体上不受损坏，这个任务如果换成偏全驱动原理的Schunk灵巧手，将会面临较大的硬件受损风险。

动图13. 在外骨骼遥操作下，末端存在肉眼可见的定位误差，造成末端执行器与外界大量的物理碰撞

“水管星”（Pipe Star）

图14 Combined Task - Pipe Star

（Pipe Star——“水管星”抱歉作者在这里没有找到很确切的中文解释，只能直译）

这里的Pipe Star是KHG公司提供的一个专业道具，用来检验机器人的移动与操作性能——如上图14所示，它由5个短小的水管组成（每个水管的位置和朝向都不同），每个水管的底部有不同的图案，即要求机器人能够移动每根遮挡住图案的水管，并且使用视觉设备去确定相应的图案。整体机器人的运动控制实现如下：用手柄控制万向轮移动，用6D鼠标控制末端执行器的操作，而机器人腿部的姿态（致使末端执行器能够达到较低的地面操作空间）是通过前文提到的关键帧编辑器进行控制。

这个任务对于重心较低的AGV、履带式机器人是相对容易的，而对于重心与末端操作空间偏高的腿足式机器人是很有挑战性的——业界的一个Open Challenge就在大量腿足式机器人是很难操作地面区域的空间，尤其是双足人形机器人。

自动化任务（Autonomous Task）

混合腿轮移动（Hybrid Driving-stepping Locomotion）

图15. Autonomous Task - Hybrid Driving-stepping Locomotion(1)

图16. Autonomous Task - Hybrid Driving-stepping Locomotion(2)

在图15-16中的腿轮混合移动任务中，CENTAURO机器人首先被放置在一堆石砾前，在石砾的后方安置了2级阶梯，任务的目标是机器人通过自主导航和腿轮混合运动控制器，绕过石砾并登上2级阶梯。CENTAURO机器人在30秒的时间内完成了地图构建、定位与路径规划，并很顺利地绕过了石砾，但在爬第二级楼梯时失去了平衡，致使这项任务最终的的成绩较低。

原因在于URDF文件在一些为了项目验收的硬件改变后没有及时的更新，在使用旧URDF仿真的情景预测中跑了一遍没有问题，但在实际项目验收中就这样挂了（上楼梯是我们使用CENTAURO经常展示的Demo，算是比较有信心的，也是尴尬）——URDF没更新这个原因虽然很无语，但就这么真实的发生了。

双手协同操作（Bi-manual Manipulation）

图17. Autonomous Task - Bi-manual Manipulation

在如图17的双臂协同操作任务中，CENTAURO机器人需要自动识别桌面上的一件需要双手操作的未知工具，自主规划出抓取的轨迹和方式，并最后操作电动工具。在实际的任务中，机器人完成了工具的自动识别并规划出了抓取的轨迹与方式，但由于右手Schunk灵巧手微小的抓取位姿误差，导致在最后操作电动工具时（食指trigger）发生了失败。这个trigger motion的失败是在意料之中的——其对机械手和电动工具之间的相对位姿精度要求太高，自主规划下只有碰运气才能一遍完成。

外骨骼遥操作任务（Tele-presence Task）

图18. Tele-presence Task - Turn a valve stem with a wrench

在如图18的外骨骼遥操作任务中，驾驶员与机器人被要求抓取一只扳手，并旋紧相应的阀门。这个任务中，对阀门所谓的“旋紧”有一定的要求：因为机器人本体与外骨骼设备均具备力反馈的能力，所以在机器人操作之后，评判人员会使用力矩扳手进行“是否旋紧”的测量（最低阈值设定为3Nm）——即评测整套遥操作设备的力反馈性能。

在若干外骨骼遥操作任务中（不仅局限于图18），整体的结果是都能成功完成（毕竟引入了人类的智能），但存在的问题是需要花费相较于人类10-15倍的时间——驾驶员处反馈的原因主要如下：

• 力反馈自由度不匹配：这套外骨骼仅给予驾驶员来自机器人手腕及手指关节的力反馈，机器人的肩膀、手肘关节，乃至下半身是不提供任何力反馈的——导致驾驶员实际操作感觉就像一个高位截瘫的患者；

• 视觉信息不完整与误差：驾驶员所佩戴的VR眼镜共享的是机器人头部相机带来的视觉信息，在实际操作时，大量末端执行器前端的视觉信息是不完整的（由于被手臂或机械手遮挡）。同时和超高像素的人眼相比，通过RGB-D相机传递到VR设备的图像存在巨大的视觉误差，操作人员反应几乎是满眼马赛克。

---

本文是CENTAURO系列的最后一篇文章，CENTAURO项目是作者从2015年的PhD开始，到2018年11月一直在跟进的庞大项目——由来自欧洲9所研究所与高校、超过30+的科研人员共同完成，这也对应了机器人方向高度跨学科的属性。自然而然作者就没有能力面面俱到，但因为亲身参与其中，故能够分享一些实际的项目工程经验，希望有所帮助。

最后，相应项目Review文章已经可在ArXiv找到，请搜索以下链接获取更多信息：

https://arxiv.org/pdf/1909.08812.pdf

 

——完——