dsoftware的博客

最近总结了基于视觉的机器人抓取的相关论文及代码，同步于github。根据抓取的类别，基于视觉的机器人抓取可以分为两类：2D平面抓取以及6D空间抓取。这个页面总结了近年来涉及到的各种各样的方法，其中大部分都使用了深度学习。总结的中文框架结构如下：0.综述论文1. 2D平面抓取这类方法将抓取，用平面内旋转的矩形框表示；1.1基于RGB或者RGB-D的方法采用基于目标检测类的方法，直接得到2D...

方法分类（Correspondences-based method）（Template-based method）（Voting-based method） （Regression-based method）一个简单的表格是这么创建的：姿态估计方法已知信息核心思路代表方法适用场景基于2D-3D对应的方法3D模型3D点与以及投影后的带纹理图像将3D模型投影得到RG...

1. 引言机器人抓取的首要任务，是确定要抓什么，也就是需要定位目标物体在输入数据中的位置。这个过程可以分为三个层次，分别为物体定位但不识别、物体检测、物体实例分割。物体定位但不识别是指获得目标物体的2D/3D范围但是不知道物体的类别；目标检测是指得到目标物体的2D/3D包围盒，同时识别目标物体的类别；目标实例分割提供目标物体所占有的像素或者点级别的区域信息，同时识别目标物体的类别。本文来自论文h...

根据抓取的表示，应用场合等可以将机器人抓取分为2D平面抓取和6-DoF空间抓取，各自又包含很多方法，下面一一介绍。1 2D 平面抓取：适合工业抓取，场景是机械臂竖直向下，从单个角度去抓，抓取通常由平面内的抓取四边形，以及平面内的旋转角度表示（Oriented 2D rectangle）：根据使用的数据RGB/Depth不同，又可以分为以下三类：基于RGB，基于RGB+Depth，和基于De...

摘要本文发表于2019年ICRA，作者提出了一种端到端的抓取位置预测模型，能够从点云中估计出机器人的抓取位姿。和当前算法相比，作者提出的PointNetGPD是一种轻量级的网络模型，能够处理抓取器闭合区域的点云，进行抓取质量估计。网络以原始点云作为输入，能够捕捉到抓取器闭合区域点云的复杂几何结构，即使这些点云很稀疏。此外，作者基于YCB模型库，生成了350K包含真实点云和抓取的数据集用于训练。提...

该文章发表于2019年CVPR，题目是：CRAVES: Controlling Robotic Arm with a Vision-based Economic System，核心点是使用40美元的廉价无传感器机械臂进行控制操作。论文为清华、北大以及约翰霍普金斯大学合作完成。引言本文的出发点是训练一个强化学习网络，可以对机械臂进行较为精确的控制。使用强化学习的好处是可以允许低控制精度的机械臂，...

这篇文章发表于2018年的ICRA会议，作者分别为Princeton和MIT团队的相关学者，论文有对应的项目网址。1. 总评当前主流进行抓取，首先需要recognize目标物体，之后估计6Dpose，再进行抓取。而这篇文章提出了一个“grasp-first-then-recognize”的框架，不先进行识别，而是直接从一堆物体中先抓取某个物体，之后再判断他的类别。这样有两点好处：主动地从一堆...