柔韧与精准新突破——基于 Kinova Gen3 的可形变物体操作：解锁塑料袋打结应用-优快云博客

本文链接：https://blog.youkuaiyun.com/Hinyeung2021/article/details/148746500

研究背景：

在机器人领域，可变形物体操作（DOM）长期受无限自由度与非线性动力学挑战。塑料袋作为常见柔性物品，因半透明表面致深度传感失效、复杂构型下自遮挡及弹塑性材料建模难，是 DOM 领域的“硬骨头”。

传统基于 3D 视觉的点云或体素模型因深度误差失效，2D 关键点检测受严重遮挡限制，直接打结成功率不足 5%。

为解决上述难题，研究团队以 Kinova Gen3 双臂机器人为载体，提出迭代交互建模（IIM）方案：利用模仿学习将随机掉落的塑料袋调整至直立姿态，构建高置信度关键点骨架模型，结合空间动作图与图卷积网络，实现 85%打结成功率，首次赋予机器人自主打结随机构型塑料袋的能力。

核心方法：迭代交互建模（IIM）的技术框架

IIM方法的核心在于通过迭代抓取放置动作将塑料袋调整为站立姿势，从而建立高置信度的关键点骨架模型。

具体步骤包括：

视觉抓取模块：利用空间动作图从俯视图像中预测抓取点。
任务进度模块：使用图卷积网络评估调整过程中的关键点骨架，并决定下一步的动作。
迭代调整：通过不断抓取和放置塑料袋，逐步将其调整为站立姿势。

图3：打结塑料袋的IIM迭代。在每一步中，右摄像头都会获得自上而下的视图图像Iright，左侧相机获取侧视图图像序列I 移动左。我们使用空间动作映射模块φ获取抓取点，并使用稀疏重建的点云获取抓取深度。同时，我们从I中检测2D关键点音乐视频留下f来简化任务进度模块G确定使用哪个拾取动作，以及调整姿势何时良好足以支持构建3D关键点骨架来打结。

实验设计与验证：从基线对比到泛化测试

实验设置：

机械臂与末端执行器

双臂系统：采用两台 Kinova Gen3（6DoF）机械臂，基座间距 51.2cm，配备标准 Robotiq 2F-85 夹具，支持精准抓取与姿态调整。

抓取策略：单臂拾取动作（p1）与双臂协同拾取动作（p2）结合，p2仅在调整末期用于稳定直立姿态。

视觉感知模块

多相机配置：左机械臂末端安装 Intel Realsense D435i 相机（Cleft），通过 15 个不同侧视角度采集立体图像；右机械臂末端相机（Cright）提供顶视图，视野范围 75.4cm×56.6cm。

深度估计：利用 COLMAP 算法对Cleft的多视图图像进行稀疏重建，通过圆柱区域内顶 10 点平均高度确定抓取深度。

实验方案与结果分析

研究团队在四种不同的塑料袋上进行了实验，其中包括三种有演示的塑料袋和一种没有演示的新型塑料袋。

训练数据：每种塑料袋仅需 100 次演示（1.5 小时），包含白色、红色、黑色塑料袋，灰色塑料袋作为未演示泛化测试。

图 2：（a）本研究中使用的塑料袋和填充物。我们在白色、红色和黑色袋子上进行了演示。灰色塑料袋用于展示 IIM 的泛化能力。我们在塑料袋中装入了尺寸和形状各异的不同物品，包括布料、纸板、瓶子、胶带卷和干电池。（b）PBPose 数据集。图像拍摄于各种背景、打结状态、填充状态、光照条件、放置状态（直立或平躺）和视角下。（c）我们设计了两种运动基元用于在空中打结。

拾取与放置流程

图 4：对 Iright 进行分割和旋转处理以获得 16 个副本。我们将这些图像输入网络 φ，并根据选择规则和距离约束从输出候选点中选择一个或两个抓取点。通过计算抓取点上方前 10 个点的深度来获取这些点的抓取深度，然后执行拾取动作。向上拾取后，我们通过分割顶视图来确定塑料袋的放置位置，并比较塑料袋左右两侧区域的相对大小。