DRO-Grasp 开源项目教程

DRO-Grasp 开源项目教程

DRO-Grasp Official code repository of paper "D(R, O) Grasp: A Unified Representation of Robot and Object Interaction for Cross-Embodiment Dexterous Grasping" 项目地址: https://gitcode.com/gh_mirrors/dr/DRO-Grasp

1. 项目介绍

DRO-Grasp 是一个开源项目，旨在通过统一的机器人与物体交互表示，实现跨机器人主体的灵巧抓取。该项目提出了一种新颖的框架，可以模拟机器人的抓取姿态与物体之间的交互，从而实现在各种机器人主体和物体几何形状之间广泛的泛化。

2. 项目快速启动

以下是快速启动 DRO-Grasp 项目的步骤：

首先，确保您的系统安装了以下依赖项：

• Python 3.8
• PyTorch >= 2.3.0

接下来，执行以下命令创建 Python 环境：

conda create -n dro python==3.8
conda activate dro

安装 Isaac Gym 环境（可选）。如果您不需要在 Isaac Gym 中评估抓取效果，可以跳过此步骤：

tar -xvf IsaacGym_Preview_4_Package.tar.gz
cd isaacgym/python
pip install -e .

然后，安装项目所需的其他包：

pip install -r requirements.txt

项目使用 Weights & Biases 来监控损失曲线，如果您不熟悉它，可以查阅相关教程。如果不使用 Weights & Biases，可以在 train.py 和 pretrain.py 中禁用相关部分。

下载预训练模型：

bash scripts/download_ckpt.sh

验证 Isaac Gym 环境是否正确安装，并评估模型的性能：

python scripts/example_isaac.py

获取预训练模型的匹配顺序：

python scripts/example_pretrain.py

可视化对应匹配结果：

python visualization/vis_pretrain.py

3. 应用案例和最佳实践

在实践应用中，以下是一些最佳实践：

• 预训练：根据实际需求修改配置文件 config/pretrain.yaml，指定预训练模型名称、GPU ID 和预训练轮数。运行 python pretrain.py 进行预训练。

• 训练：修改 config/train.yaml 中的配置，如训练模型名称、GPU ID、训练轮数等。指定预训练模型后，运行 python train.py 开始训练。

• 验证：通过修改 config/validate.yaml 来指定验证模型名称、GPU ID、验证轮数等。运行 python validate.py 来进行验证。

• 数据集：可以从提供的链接下载过滤后的数据集、URDF 文件和点云，解压到 data/ 文件夹中，或者执行 bash scripts/download_data.sh 脚本来下载数据。

4. 典型生态项目

DRO-Grasp 可以与其他机器人抓取相关的开源项目配合使用，例如：

• GenDexGrasp：用于生成抓取数据的工具。
• Isaac Gym：一个用于机器人模拟和训练的 Gym 环境。

通过结合这些项目，可以进一步扩展 DRO-Grasp 的应用范围，推动机器人抓取技术的发展。

DRO-Grasp Official code repository of paper "D(R, O) Grasp: A Unified Representation of Robot and Object Interaction for Cross-Embodiment Dexterous Grasping" 项目地址: https://gitcode.com/gh_mirrors/dr/DRO-Grasp