黎国溥

GraspNet是的大规模基准的基线模型，值得学习和复现。本文分享使用较新版本的PyTorch和CUDA，来搭建开发环境。

在机器人抓取领域，透明和镜面物体的抓取一直是个难题。物体是透明的，光线会直接穿过，深度相机就很难准确测量出杯子的实际位置和形状，很难准确地感知这类物体的深度信息。ASGrasp核心是两层学习型立体网络，能够同时恢复透明和镜面物体的可见部分和不可见部分的深度信息。然后融合两层深度信息，进行重建物体，得到点云信息作为GSNet（GraspNess）的输入，进而预测出抓取位姿。

MODEST是一种用于透明物体的单目深度估计和分割的方法，来自ICRA 2025。它通过单张RGB图像作为输入，能够同时预测透明物体的深度图和分割掩码。由深度图生成点云数据，然后采用GraspNet生成抓取位姿，开展透明物体抓取实验。

MODEST 单目透明物体抓取算法，来自ICRA 2025，本文分享它的复现过程。输入单个视角的RGB图像，模型需要同时处理深度和分割任务，输出透明物体的分割结果和场景深度预测。将算法迁移到真实机器人平台，开展了透明物体抓取实验。实验平台主要由UR机械臂和深度相机组成。在借助MODEST方法对透明物体进行分割和深度预测，生成点云数据作为输入，进而采用GraspNet生成抓取位姿。

ISAAC Lab是 NVIDIA 提供的一个 GPU 加速的开源框架，专为简化机器人研究工作流程而设计，特别是在和等领域。它基于 NVIDIA 的 ISAAC Sim 构建，结合了高精度的物理和传感器，成为了从仿真到现实应用的理想选择。本文会分享ISAAC Lab的安装和使用，通过和进行安装的，适用于windows系统，带大家规避一些坑。

在复杂场景中实现抓取检测，Graspness是一种端到端的方法；输入点云数据，输出抓取角度、抓取深度、夹具宽度等信息。

在复杂场景中实现抓取检测，Graspness是一种端到端的方法；输入点云数据，输出抓取角度、抓取深度、夹具宽度等信息。将通用的抓取位姿检测，分解为两个阶段问题。首先关注 “抓哪儿”（区域选择），然后再精确计算 “怎么抓”。

优点与创新: 提出了一种简单而新颖的框架，通过粒子轨迹的结构化表示将视频预训练与策略学习桥接起来。显著超越基线: 在超过130个语言条件任务上进行了广泛的实验，ATM在视频预训练方面显著优于各种强大的基线方法，平均成功率达到63%，相比之前方法的37%提高了80%。跨模态人类和机器人视频学习: 展示了从人类视频和不同机器人形态的视频中有效学习的能力。多模态轨迹建模: 通过多模态掩码预测问题来形式化未来轨迹预测问题，结合了当前位置、图像观测和任务的语言指令。轨迹引导策略学习。

是机器人场景的理解与抓取预测方法，通过单帧RGB-D 图像实现：实时和，运行速度可达。本文主要分享SceneGrasp的环境搭建，然后进行模型推理，看看效果。

本文分享SceneGrasp，它来自IROS2023，同时支持物体分类、3D物体重建、6D位姿估计、抓取点估计。它是一种快速、高效且同时处理多个任务的方法，能够使机器人更好地理解和操作其环境。同时处理多个任务，实现任务之间共享信息，而且速度达到30 FPS。