《NeuralFeels》项目使用与配置教程

《NeuralFeels》项目使用与配置教程

neuralfeels Neural feels with neural fields: Visuo-tactile perception for in-hand manipulation 项目地址: https://gitcode.com/gh_mirrors/ne/neuralfeels

1. 项目目录结构及介绍

NeuralFeels 项目目录结构如下：

neuralfeels/
├── data/
│   ├── feelsight/
│   ├── feelsight_real/
│   ├── feelsight_occlusion/
│   └── assets/
├── neuralfeels/
│   ├── contrib/
│   ├── datasets/
│   ├── eval/
│   ├── geometry/
│   ├── modules/
│   └── viz/
├── outputs/
└── scripts/

• data/: 存放下载的 datasets 和模型文件。

  • feelsight/: 模拟数据集。
  • feelsight_real/: 真实世界数据集。
  • feelsight_occlusion/: 模拟遮挡数据集。
  • assets/: 真实 3D 模型。

• neuralfeels/: 源代码目录。

  • contrib/: 基于第三方代码的模块。
  • datasets/: 数据加载器和数据集类。
  • eval/: 度量和绘图脚本。
  • geometry/: 3D 和 2D 几何函数。
  • modules/: 前端和后端模块。
  • viz/: 渲染和可视化。

• outputs/: 存放训练运行的工件。

• scripts/: 主运行脚本和 hydra 配置。

2. 项目的启动文件介绍

项目的启动主要通过 scripts/ 目录下的 run 脚本进行。

./scripts/run DATASET SLAM_MODE MODALITY OBJECT LOG FPS RECORD OPEN3D

其中各参数的意义如下：

• DATASET: 要使用的数据集，选项为 'feelsight' 或 'feelsight_real'。
• SLAM_MODE: 要使用的模式，选项为 'slam'、'pose' 或 'map'。
• MODALITY: 要使用的模态，选项为 'vitac'、'vi' 或 'tac'。
• OBJECT: 要使用的对象，例如 '077_rubiks_cube'。
• LOG: 日志标识符，例如 '00'、'01' 或 '02'。
• FPS: 帧率，例如 '1'、'5'。
• RECORD: 是否录制会话，选项为 '1'（是）或 '0'（否）。
• OPEN3D: 是否使用 Open3D，选项为 '1'（是）或 '0'（否）。

项目还提供了一些预设命令来简化启动流程：

• --slam-sim: 在模拟中运行神经 SLAM，使用橡皮鸭。
• --pose-sim: 在模拟中运行神经跟踪，使用魔方。
• --slam-real: 在真实世界中运行神经 SLAM，使用甜椒。
• --pose-real: 在真实世界中运行神经跟踪，使用大骰子。
• --three-cam: 使用三个相机在真实世界中跟踪大骰子的位置。
• --occlusion-sim: 在模拟中运行神经跟踪，使用遮挡日志。

3. 项目的配置文件介绍

项目的配置主要通过 scripts/ 目录下的 hydra.conf 文件进行。Hydra 是一个用于配置管理的库，它允许用户通过命令行参数和配置文件来配置应用程序。

在 hydra.conf 文件中，可以定义各种参数和默认值，例如：

defaults:
  - dataset: feelsight
  - slam_mode: slam
  - modality: vitac
  - object: 077_rubiks_cube
  - log: 00
  - fps: 1
  - record: 0
  - open3d: 0

用户可以通过修改这个文件来设置项目的默认配置，或者在命令行中覆盖这些配置。

以上就是 NeuralFeels 项目的目录结构、启动文件和配置文件的介绍。使用这些信息，用户可以开始使用和配置该项目。

neuralfeels Neural feels with neural fields: Visuo-tactile perception for in-hand manipulation 项目地址: https://gitcode.com/gh_mirrors/ne/neuralfeels