cocapop的博客

本文对基于视觉的机器人抓取进行了全面的综述。我们总结了基于视觉的机器人抓取过程中的三个关键任务，即物体定位、物体姿态估计和抓取估计。详细地说，对象定位任务包括无分类的对象定位、对象检测和对象实例分割。此任务提供输入数据中目标对象的区域。物体姿态估计任务主要是对6D物体姿态进行估计，包括基于对应关系的方法、基于模板的方法和基于投票的方法，为已知物体提供抓取姿态的生成。抓握估计任务包括2D平面抓握方法和6DoF抓握方法，其中前者被约束为从一个方向抓握。这三种任务可以实现不同组合的机器人抓取。

摘要点云分割是多目标叠加场景下机器人抓取研究的关键。针对点云分割方法在复杂叠加场景中精度低、鲁棒性差的问题，提出了一种基于动态图卷积神经网络的点云分割算法。在DGCNN特征提取中加入了一个将通道注意力机制和空间注意力机制相结合的通道空间注意力模块。这种改进的方法可以有效地利用点云的特征。为了训练改进的DGCNN网络，我们构建了一个包含800个真实世界堆叠场景的小型矩形对象分割数据集。实验结果表明，我们的分割准确率可以达到88.61%。经过充分的实验表明，采用我们的点云分割方法进行机器人抓取可以获得96%的成

首先，深度相机获取物体点云并将其输出到候选抓取姿态生成模块，候选抓取姿态产生模块输出可变量的抓取姿态，然后使用训练后的抓取质量评估模型来获得抓取姿态的类别。为了提高抓取检测模型生成抓取姿态的准确性和可靠性，本文提出了一种基于PointNet的端到端抓取姿态检测网络，并基于BigBIRD数据集[9]生成了700k个真实点云和抓取标签的数据集来训练模型，实验结果表明，该模型比测试集中的PointNetGPD和GPD具有更高的分类精度，在多目标密集环境中的抓取性能也优于这两种模型。另一个是抓取姿态质量评估模块。

1、二指手：双指手可以由两个接触面来模拟，这两个接触面沿着一维流形相互靠近和远离。因为只允许二指手，由于我们只允许使用两只手指的手，因此手相对于物体的 6-DOF 姿势足以计算出手指接触的位置，而手指接触的位置则是手相对于物体以给定姿势闭合时的位置。因此，只需给出 6-DOF 手部姿态，就能评估是否存在抓握动作。

Pinto and Gupta【14】采取相似的方法，只是训练数据来自（on-line experience obtained by the robot during an automated experience-gathering phase）.Redmon and Angelova【15】使用上述手动标注的数据集，将抓取姿势问题视为a regression problem，用CNN去解决。在RGBD中以（x,y,cita）这种方式的缺点是：限制了机械手只能从一个特定的方向接近物体。

我们的目标是在一个框架内实现可靠的 6DoF 闭环抓取，该框架要足够灵活，能够处理新型物体和带有移动物体的动态场景配置。我们发现，通过在一个大型人类演示数据集上训练视觉抓取值函数（使用基于视图的渲染进行数据增量）（通过配备腕部摄像头的手持式抓手收集），这一目标是可以实现的。将视觉导向抓取问题建模为马尔可夫决策过程（Markov Decision Process, MDP），其中在每个时刻 t，机器人根据策略 π(s, a) 选择并执行一个动作 a，然后转移到新的状态 s'，并接收奖励 r。

为训练现代机器学习算法而建立和收集有注释的视觉分析数据集，可能会非常耗时和昂贵。一个有吸引力的替代方法是使用现成的模拟器来渲染合成数据，并自动生成地面实况注释，但不幸的是，纯粹在模拟数据上训练的模型往往不能推广到真实世界。我们研究了如何将随机模拟环境和领域适应方法扩展到训练抓取系统，以便从原始单目 RGB 图像中抓取新物体。我们利用总共超过 25,000 个物理测试抓取对我们的方法进行了广泛评估，研究了一系列模拟条件和域适应方法，包括我们称之为 GraspGAN 的像素级域适应的新扩展。我们还表明，通过仅使

总体而言，该算法利用深度学习不仅学习抓取排序权重，还学习用于排序的特征，重点关注RGB-D数据，并使用了多模态正则化。

图2显示了所提议的GR-ConvNet模型，这是一个生成架构，接受n通道输入图像，并以三幅图像的形式生成像素级的抓取。与之前机器人抓取[1]、[2]、[3]、[4]的工作不同，在之前的工作中，通过从多个抓取概率中选择最佳的抓取，预测所需抓取为一个抓取矩形，我们的网络生成三幅图像，从中我们可以推断出多个物体的抓取矩形。我们提出了一个双模块系统来预测、计划和执行对跖点抓取。3)我们在公开的抓取数据集上评估了我们的模型，在Cornell和Jacquard抓取数据集上分别达到了最高水平的97.7%和94.6%。

最近的观察结果不断更新其抓取策略，以优化远距离抓取的成功率。除了获得极高的成功率，我们的方法还表现出了 除了获得极高的成功率外，我们的方法还表现出与更多标准抓取系统截然不同的行为：我们的方法仅使用来自肩上摄像头的基于 RGB 视觉的感知，就能自动 学习重新抓取策略，探测物体以找到最有效的抓取方式，学习 我们的方法会自动学习重新抓取策略、探测物体以找到最有效的抓取方式、学习重新定位物体并执行其他非抓取性预抓取操作、 并对干扰和扰动做出动态响应。

抓取姿势的成功取决于抓取相对于对象的相对姿 势。在这里，我们 专注于生成单个对象的抓取姿势，由于机械手的到达 和由于场景中的其他对象而产生的额外约束超出了本 工作的范围，可以通过轨迹优化技术来处理。相比之下，抓点检 测方法(GPD)[31,15]对候选抓点进行更密集的采样:对 观测到的点云中的一个点进行随机采样，并构建一个 与估计的表面法线和主曲率的局部方向对齐的达布框 架。这些方法中 的许多都依赖于物体的完整3D模型的可用性，这在现实 场景中是一个严重的限制，例如，机器人只能用嘈杂的 深度相机观察场景。

我们的方法与Murali等人的工作密切相关，他们的 目标是从场景的部分点云中为指定的目标物体生成无碰 撞的不同抓取，并使用预训练的未知物体实例分割模型 对物体进行分割[15,16]。Murali 等人[12]使用了一个多阶段过程，从分割的物体点云中合成目标物体的抓取点，周围没有任何上下文，然后使用另一个学习到的模型过滤掉碰撞的抓取点。因此，数据驱动抓取的大量工作将可能的抓取空间限制为平面抓取，其中抓取由每个像素周围的定向矩形表示，这些矩形定义了抓取框架 [7, 8, 9]。

相比之下，我们的聚类算法不会生成候选组，而是直接根据对象中心点与其余点之间的特征距离生成实例。：在特征嵌入空间，属于同一实例的点应该接近，而不同实例的点应该彼此分开。对于机器人垃圾箱拾取，提供各种工业对象的通用培训数据集是一项艰巨而艰巨的工作，目前还没有这样的数据集。因此，实例分割的研究包括两种方法: 需要对象检测模块的基于提议的方法和没有对象检测模块的无提议的方法。由于场景中的实例是无序的，并且它们的数量是不可预测的，因此无法用固定张量表示实例标签。2.转换后的每个点由6维度(6D)向量组成。

为了学习手眼协调 抓取，我们训练了一个大型卷积神经网络来预 测抓取器的任务空间运动成功抓取的概率，只 使用单目摄像机图像，独立于摄像机标定或当 前机器人姿态。为了训练我们的网络，我们 在两个月的时间里收集了超过 80 万次的抓取 尝试，在任何给定的时间使用 6 到 14 个机器人 操纵器，摄像机的位置和硬件都有所不同。通过不断地重新计算最有希望的 运动指令，我们的方法不断地整合来自环境的感官线索，使其 能够对扰动做出反应，并调整抓取，以最大限度地提高成功的 概率。本文中，我们提出了一种基于学习的。

我 们证 明了 我们 学习 到 的策 略可 以集 成到 桌面 6 D 抓取 系统 和人 机切 换系 统中 ，以 提高 对看 不见 的物 体 的抓取性能。我 们 证明， 我们 在仿 真中 训练 的策 略可 以集 成到 桌面 6 D 抓取 系统 和人-机器 人切 换系 统中 ，以 提高 看 不见 的物 体 的抓 取 性能。对 于 未来 的工 作 ，我 们 计划 研究 由 于仿 真中 的 接触 建 模而 导致 的 策略 学 习中的模拟与真 实差 距，并 将该 方法扩 展到 混乱场 景中 的 6 D 抓取。

此外，通过少量数据的微调，这些模型可以泛化到未见过的夹爪和新的机器人平台，并且表现优于特定机器人和特定环境的训练。1、研究结论：本文的研究结论是通过构建RoboNet数据集和使用基于视觉预测和逆向模型的算法，可以实现多机器人、多领域的模型驱动强化学习，并且在零样本和少样本情况下能够实现对新对象、新视角和新机器人平台的泛化。通过构建大规模的数据集并进行实验评估，本研究在机器人学习领域迈出了重要的一步，实现了数据驱动的机器人学习方法的大规模应用，使得数据可以在不同机构之间共享，从而实现更高水平的泛化和性能。

摘要-这项工作提供了一个架构，使机器人能够通过形状完成抓取规划。形状完成是通过使用3D卷积神经网络(CNN)来完成的。该网络是在我们自己的新的开源数据集上训练的，该数据集包含了从不同视角捕获的超过44万个3D样本。运行时，从单个视角捕获的2.5D点云被送入CNN, CNN填充场景的遮挡区域，允许对已完成的对象进行计划和执行抓取。运行时形状完成非常快，因为形状完成的大部分计算成本是在离线训练中承担的。我们探讨了不同因素对完井质量的影响。这些包括在训练数据中是否存在被完成的对象，以及有多少对象模型被用来训练网络

题目:SGPN: Similarity Group Proposal Network for 3D Point Cloud Instance Segmentation1 背景引入分割概念：对图像中每个像素或点云的每个点都划分出对应的类别实例分割：实例分割可以标注出图上同一物体的不同个体（羊1，羊2，羊3...）

题目：A Convolutional Neural Network for Point Cloud Instance Segmentation in Cluttered Scene Trained by Synthetic Data Without ColorAbstract本文提出了一种训练卷积神经网络的方法，以利用合成数据预测实例分割结果。所提出的方法基于SGPN框架。我们用学习如何提取局部几何特征。

在这些密度可达的样本序列的ϵ邻域内所有的样本相互都是密度相连的。(2)核心对象：对于任一样本xj∈D，如果其ϵ邻域对应的Nϵ(xj)至少包含MinPts个样本，即如果|Nϵ(xj)|≥MinPts|，则xj是核心对象。(4)密度可达：有ABC三个样本，A样本和B样本密度直达，B样本和C样本密度直达，A和C之间不是密度直达，则称A样本和C样本密度可达。针对这一问题，本文提出了一种改进的DBSCAN算法，用于点云的堆叠和密集对象，将区域增长与DBSCAN相结合，并使用八叉树来提高算法效率。

1、Vision-based Robotic Grasping From Object Localization, Object Pose Estimation to Grasp Estimation for Parallel Grippers: A Review（2019）本文对基于视觉的机器人抓取技术进行了综述。总结了基于视觉的机器人抓取过程中的三个关键任务:目标定位、目标姿态估计和抓取估计。其中，目标定位任务包括不分类的目标定位、目标检测和目标实例分割。此任务在输入数据中提供目标对象的区域。目标位

几种方法不是在3D扫描上学习单个特征，而是试图从3D扫描中学习不同的部分，例如Dai和nie ß ner [2018]，Wang等 [2018a]，Jaritz等 [2019]。点云是不规则的、无序的、非结构化的。在无监督的深度学习方法中，有许多使用生成方法的学习特征，例如Lee等人 [2009a]，Le [2013]，Lee等人 [2009b]。此外，兵马俑点云数据为N个具有6个特征x，y，z，Nx，Ny，Nz(xyz坐标和normal) 的点，记作X = {x1，x2，x3，...，xn} ⊆R6。

范数以计算点之间的欧氏距离。每个点的相邻点的选择基于在点云的所有点之间执行动态路由机制。点的特征以胶囊表示。根据可以从胶囊之间的动态路由推断出的一致性来探索每个点的最相似点。胶囊之间动态路由的想法始于，但据我们所知，我们是第一个应用胶囊之间的动态路由，从原始点云数据中选择相邻点，以便通过邻域聚合构建图形。每个胶囊都是一组表示特定类型的实体（如对象或对象的一部分）的单元。此外，我们基于点云中点在欧几里得、特征值和几何空间的组合中的特征相似性，在网络的第一层构建胶囊。

在为所有的点生成初始嵌入后，我们希望同一实例中的点有相似的嵌入，而不同实例中的点在嵌入空间中是分开的。这是度量学习中的一个经典问题[13],[37]。

3D点云描述真实场景准确直观，在信息丰富的3D场景进行分割各种元素很少。本文的框架同时分割点云中的实例和语义。作者提出两种方法，使两项任务互相利用，实现双赢。具体来说，通过学习语义感知的point-level实例嵌入，使实例分割受益于语义分割。同时，将属于同一实例的点的语义特征融合在一起，从而对每个点更准确地进行语义预测。实例分割和语义分割 相关又冲突。那么如何联系，如何双赢。相关：点云可以被解析为点组，其中每个组对应于一类东西或个体实例。

该论文提出了PointNetGPD算法直接处理点云数据；生成了基于YCB模型库的包含350k真实点云的抓取数据集；比当前主流的GPD算法相比，在抓取效果上有提升；未来可以将候选抓取位姿的生成，集成进抓取质量估计网络，以实现端到端；也可以针对堆叠情况引入场景分割，避免将多个物体当作一个物体。代码地址：https://github.com/lianghongzhuo/PointNetGPDQ_%7Bfc%7DQ_%7Bfc%7D。

合成数据集：通过计算机模拟生成的数据集，而不是通过真实的物理实验、观测或者采集得到的数据集。这种方法可以控制物体、场景和光照等条件，以满足特定的研究需求.由于感知和执行的不精确性，可靠的机器人抓取非常具有挑战性，这导致了对物体形状、姿态、材料特性和质量等属性的不确定性。最近的研究表明，基于大规模人类抓取标签或物理抓取结果的深度神经网络可以用于直接从图像或点云中规划成功抓取多种物体，类似于计算机视觉中的泛化结果，但数据收集要么需要繁琐的人工标记，要么需要在物理系统上执行数月时间。

题目：PAConv: Position Adaptive Convolution with Dynamic Kernel Assembling on。将我们的PAConv集成到经典的基于mlp的点云管道中，而不改变网络配置。通过动态组装存储在权重库中的基本权重矩阵来构造卷积核。PAConv:点云上动态核组装的位置自适应卷积。结合权值矩阵来降低学习过程的复杂性。位置自适应卷积(PAConv)

题目：PointASNL: Robust Point Clouds Processing using Nonlocal Neural Networks with Adaptive Sampling摘要此网络主要由两大部分组成，分别为(AS) module和1.对FPS得到的初始采样点周围的neighbors进行re-weight2.自适应地调整采样点，其中，这个采样点可能就是一个outlier3.作用：有利于点云数据的特征学习，抑制outlier的负面影响。

点采样模型的自适应上采样是构建基于点的多分辨率表面的关键技术之一。在本文中，我们提出了一种点模型的上采样算法。我们的算法首先根据局部投影过程为模型中的每个点定义一个平滑流形补丁，该过程由著名的移动最小二乘法 （MLS） 方法定义。通过构建点及其相邻点的本地 Voronoi 图，为每个点计算有效的上采样区域。然后按照在局部平面上构建的网格对区域进行上采样，该网格通常由表面的局部曲率和给定的采样控制函数控制。收集上采样点，可以获得密集的多分辨率点模型。

提出了PointGMM，这是一个神经网络，它学习生成hGMM，这些hGMM是形状类的特征，并且也与输入点云一致。PointGMM通过一组形状进行训练，以学习特定于类的先验。

题目：Faster Dynamic Graph CNN: Faster Deep Learning on 3D Point Cloud Data更快的动态图形CNN：对3D点云数据进行更快的深度学习图CNN在规范空间中排列点云数据动态捕获点的相邻信息挤压激励模块设计了残差型跳过连接网络主要贡献如下：使用边缘卷积块上的注意力重校准块可以提高边缘特征和点特征图的表达能力。使用跳跃密集网络，我们更快地学习了具有更多层数的模型。

4.《3D Point Cloud Classification and Segmentation》by Vishnu Naresh Boddeti and Ganesh Sistu：这本书介绍了点云分类和分割的技术和应用。该书包括点云数据的特征提取、分类和分割方法、点云数据应用等方面的内容。该书包括点云数据的特征提取、处理和分析，点云应用，如地球物理学、机器人学、计算机视觉等方面的案例研究。本书涵盖了点云数据的基本概念和操作，以及点云应用的实际案例，如机器人技术、计算机视觉和地理信息系统等。

由图可以看出，由于点云的旋转非常的简单，只需要对一个N × D 的点云矩阵乘以一个D × D的旋转矩阵即可，因此对输入点云学习一个3 × 3的矩阵，即可将其矫正；但是这样的网络有一个问题，就是每个点损失的特征太多了，输出的全局特征仅仅继承了三个坐标轴上最大的那个特征，因此我们不妨先将点云上的每一个点映射到一个高维的空间（例如1024维），目的是使得再次做MAX操作，损失的信息不会那么多。这时对于每一个点，都有一个1024维的向量表征，而这样的向量表征对于一个3维的点云明显是冗余的，因此这个时候引入。

具体而言，首先对点云数据进行初始采样，然后使用局部卷积核对采样后的数据进行卷积操作，得到新的特征表示。接着，采用更细的采样策略对这些新特征进行采样，再次使用局部卷积核对采样后的数据进行卷积操作。局部卷积核：针对点云数据的局部性特点，SpiderCNN引入了局部卷积核，通过在每个节点的局部邻域内进行卷积操作来提取特征。SpiderCNN是一种用于点云数据处理的卷积神经网络，它主要针对点云数据的稀疏性、旋转不变性和局部性等特点，采用了一种基于八叉树的点云结构，以及新的局部卷积核和迭代采样策略。

超像素很少整合到神经网络中的原因：标准卷积运算是在规则网络上定义的，用在超像素时效率低下。受到传统超像素算法采用的初始化策略，提出一种方法，采用简单的全卷积网络来预测常规图像网格上的超像素。基于超像素预测，我们进一步开发了用于深度网络的下采样/上采样方案，目的是密集预测任务，最终生成高分辨的输出。具体来说，我们修改了一种流行的网络体系结构（popular stereo matching network）以进行立体声匹配，以同时预测超像素和差异。

目前超像素难以和深度学习相结合主要由两个原因：超像素采样网络(SSN)是端到端可训练的。解决第二个问题。 我们开发了一种新的超像素采样可微模型，利用深度网络学习超像素分割。所得到的超像素采样网络(SSN)是端到端可训练的，允许学习任务特定的超像素，具有灵活的损失函数和快速的运行时间。 我们首先回顾了SLIC超像素算法，并通过放松SLIC中存在的最近邻约束，将其转化为可微算法。这种新的可微算法允许端到端训练，并使我们能够利用强大的深度网络学习超像素，而不是使用传统的手工制作的特征。

此外，通过使用squeeze-and-excitation module（挤压激励模块）重新校准每层的信息，我们在性能和计算成本之间实现了良好的权衡，并设计了residual-type skip connection network（残差型跳过连接网络）来有效地训练深度模型。使用所提出的模型，我们在基准数据集（即ModelNet40和ShapeNet）的分类和分割方面实现了最先进的性能，同时能够比其他类似模型快2到2.5倍的模型训练。与现有的3D深度学习模型相比，我们的模型使用。

分层聚类是一种有效有效的方法，广泛用于经典图像分割方法。但是，许多使用神经网络的现有方法直接从每个像素特征生成分割掩模，这使体系结构设计复杂化并降低了可解释性。在这项工作中，我们提出了一种更简单，更可解释的体系结构，称为HCFormer。HCFormer通过自下而上的分层聚类来完成图像分割，并使我们能够将中间结果解释，可视化和评估为分层聚类结果。HCFormer可以使用相同的体系结构来解决语义，实例和全景分割，因为像素聚类是各种图像分割任务的通用方法。

深度估计是光场摄影应用的基本问题。制定成本项以进行更稳健的匹配分析嵌入在极线平面图像中的场景结构的几何形状但是，当前最先进的方法在处理复杂的遮挡结构和具有多个遮挡的复杂场景方面仍然存在局限性。因此为解决这个问题，提出深度估计框架，该框架重于正则化初始标签置信度图和边缘强度权重。具体来说，通过基于超像素的正则化来检测部分遮挡的边界区域（POBR）在POBR上的标签置信图和边缘强度权重上应用一系列收缩/加固操作。