qq625924821的博客

本研究提出FoundationPose，一个统一的基础模型框架，支持基于CAD模型和无模型的6D物体姿态估计与跟踪。通过神经隐式表示实现高效新视图合成，结合大规模合成数据训练和对比学习策略，模型展现出强大的泛化能力。实验表明，该方法在LINEMOD、YCB-Video等多个基准数据集上显著优于现有专门化方法，处理速度达32Hz，且无需目标域微调。该工作为多场景物体姿态估计提供了通用解决方案。

ZeroGrasp是一种新型机器人抓取框架，可同时实现3D重建和抓取位姿预测。该框架采用基于八叉树的CVAE架构，创新性地引入多对象编码器和3D遮挡场来建模物体间关系和遮挡。研究团队还构建了包含12K对象1M图像和11.3B抓取位姿的ZeroGrasp-11B数据集。实验表明，ZeroGrasp在GraspNet-1B基准测试中达到SOTA性能，并能适应真实场景。该方法在212ms内完成推理，兼具高效性和准确性，为具身智能系统提供了新的解决方案。

本文提出了一种高效端到端的6-DoF抓取检测网络E3GNet，采用分层热图表示和特征传播技术，显著提升了边缘设备上的实时抓取检测性能。该网络通过全局位置热力图FPN、区域特征传播和旋转热力图检测三个关键组件，在保持94%抓取成功率的同时大幅降低计算复杂度。实验表明，E3GNet在GraspNet-1Billion数据集上达到52.18mAP，并在边缘设备上实现实时推理，验证了其在复杂场景中的高效性和实用性。

在杂乱场景中快速、稳健地抓取物体是机器人技术的重要组成部分。目前大多数工作都采用整个观测点云进行 6-Dof 抓取生成，忽略了从全局语义中挖掘的指导信息，从而限制了高质量的抓取生成和实时性能。在这项工作中，我们表明广泛使用的热力图在 6-Dof 抓取生成的效率方面被低估了。因此，我们提出了一种有效的局部抓取生成器，结合抓取热力图作为指导，以全局到局部语义到点的方式进行推理。

本文重点研究了6-DoF抓取检测在尺度不平衡情况下的特征学习问题，并提出了一种新的方法，以解决小尺度样本处理的困难问题。提出了一种多尺度圆柱体分组 （MsCG） 模块，通过结合多尺度圆柱体特征和全局上下文来增强局部几何表示。此外，该文设计了一种尺度平衡学习（SBL）损失和对象平衡采样（OBS）策略，其中SBL通过先验权重放大了尺度低频样本的梯度，而OBS则借助辅助分割网络在小尺度目标上捕获了更多的点。它们分别缓解了训练和推理中抓取量表分布不均的影响。

作者提出了一种端到端的抓取评估模型，以解决直接从点云定位机器人抓取配置的挑战性问题。与最近基于手工制作的深度特征和卷积神经网络（CNN）的抓取评估指标相比，作者提出的模型是轻量级的，可以直接处理位于抓手内的3D点云以进行抓取评估。以原始点云为输入，即使点云非常稀疏，作者提出的抓取评估网络也能捕捉到抓手与物体之间接触区域的复杂几何结构。为了进一步改进我们提出的模型，作者生成了一个具有 350k 真实点云和用于训练大规模YCB对象抓取数据集。所提出的模型的性能在仿真和机器人硬件上都进行了定量测量。

最近，已经提出了许多抓取检测方法，这些方法可用于直接从传感器数据中定位机器人抓取配置，而无需估计物体姿态。其基本思想是将抓握感知视作计算机视觉中的对象检测。这些方法将噪声和部分遮挡的 RGBD 图像或点云作为输入，并在不已知物体CAD模型的情况下生成可行的抓取位姿估计输出。尽管这些方法可以很好地将掌握知识推广到新对象，但它们尚未被证明足够可靠以供广泛使用。许多抓取检测方法对于孤立或呈现轻杂乱的新物体,其抓取成功率（抓取成功率占抓取尝试总数的分数）在 75% 到 95% 之间。

实验表明了该方法的优越性。在推理过程中，根据它们的抓握分数将它们分为 10 个等级来优化抓握姿势，并根据它们可以抵抗的扰动来调整每个箱中的抓握，这些扰动是由我们的容忍网络预测的。对于每个给定的距离 dk，对圆柱体内的点进行采样，采样数目固定，圆柱是以候选点为中心，接近向量为轴构建的。按照这样的设置，旋转网络将对齐的点云作为输入，并预测每个角度区间旋转的分类分数和归一化残差，以及相应的抓取宽度和置信度。因此，网络的输出为 M×（2 + V），其中2表示可抓取与否的二进制类别，V表示预定义的接近向量的数量。