神经描述符场（NDF）项目教程-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00895/article/details/142506708

神经描述符场（NDF）项目教程

ndf_robot Implementation of the method proposed in the paper "Neural Descriptor Fields: SE(3)-Equivariant Object Representations for Manipulation" 项目地址: https://gitcode.com/gh_mirrors/nd/ndf_robot

1. 项目介绍

神经描述符场（Neural Descriptor Fields，简称NDF）是一个用于机器人操作的开源项目，旨在通过训练连续的3D神经场来表示物体之间的密集对应关系。该项目基于论文《Neural Descriptor Fields: SE(3)-Equivariant Object Representations for Manipulation》，提供了一个PyTorch实现，用于模拟和实际机器人系统的抓取和放置任务。

NDF的主要特点包括：

SE(3)等变性：确保在不同姿态和形状的物体之间建立稳定的对应关系。
密集对应表示：通过神经网络学习物体表面的密集描述符，实现高精度的物体操作。
机器人系统集成：支持在模拟和实际机器人系统中进行操作任务的演示和评估。

2. 项目快速启动

2.1 环境设置

首先，克隆项目仓库并进入项目目录：

git clone --recursive https://github.com/anthonysimeonov/ndf_robot.git
cd ndf_robot

2.2 安装依赖

建议使用虚拟环境来安装依赖：

pip install -e .

2.3 设置环境变量

在每个新终端中运行以下命令以设置环境变量：

source ndf_env.sh

2.4 快速启动演示

下载预训练权重和数据资产：

./scripts/download_demo_weights.sh
./scripts/download_demo_data.sh

运行示例脚本：

cd src/ndf_robot/eval
python ndf_demo.py

3. 应用案例和最佳实践

3.1 抓取和放置任务

NDF可以用于模拟和实际机器人系统的抓取和放置任务。通过训练神经描述符场，机器人可以在不同姿态和形状的物体之间建立稳定的对应关系，从而实现高精度的操作。

3.2 数据生成和训练

如果需要生成自己的数据集，可以使用以下命令：

cd src/ndf_robot/data_gen
python shapenet_pcd_gen.py --total_samples 100 --object_class mug --save_dir test_mug --rand_scale --num_workers 2

训练神经描述符场：

cd src/ndf_robot/training
python train_vnn_occupancy_net.py --obj_class all --experiment_name ndf_training_exp

3.3 评估和演示

在模拟机器人系统中进行评估：

cd src/ndf_robot/eval
CUDA_VISIBLE_DEVICES=0 python evaluate_ndf.py \
--demo_exp grasp_rim_hang_handle_gaussian_precise_w_shelf \
--object_class mug \
--opt_iterations 500 \
--only_test_ids \
--rand_mesh_scale \
--model_path multi_category_weights \
--save_vis_per_model \
--config eval_mug_gen \
--exp test_mug_eval \
--pybullet_viz