基于视觉和惯性传感器的移动机器人手遥操作系统

 

论文：A Mobile Robot Hand-Arm Teleoperation System by Vision and IMU

相关视频、代码、论文地址：在公众号「3D视觉工坊」，后台回复「视觉和惯性传感器」，即可直接下载。

该研究提出了一种多模式移动遥操作系统，该系统由一个新颖的基于视觉的手势回归网络（Transteleop）和一个基于IMU的手臂跟踪方法组成。Transteleop通过低成本的深度相机观察人的手，并通过图像到图像的转换过程，不仅生成关节角度，而且还生成配对的机器人手姿势的深度图像。基于关键点的重建损失探索了人类和机器人手在外观和解剖结构上的相似之处，并丰富了重建图像的局部特征。穿戴式摄像机支架可实现同时的手臂控制，并促进整个远程操作系统的移动性。测试数据集上的网络评估结果以及除简单的取放操作之外的各种复杂操作任务，显示了多模式遥操作系统的效率和稳定性。

1.研究问题

拟人化机械手的遥操作以执行灵巧操作仍是挑战。无标记的基于视觉的遥操作具有成本低，侵入性小的强大优势。

问题a：由于机器人手和人手占据两个不同的领域，因此如何补偿它们之间的