Recurrent-VLN-BERT 项目使用教程

Recurrent-VLN-BERT 项目使用教程

Recurrent-VLN-BERT Code of the CVPR 2021 Oral paper: A Recurrent Vision-and-Language BERT for Navigation 项目地址: https://gitcode.com/gh_mirrors/re/Recurrent-VLN-BERT

1. 项目的目录结构及介绍

Recurrent-VLN-BERT/
├── connectivity/
├── data/
│   └── prevalent/
├── img_features/
├── logs/
├── r2r_src/
├── run/
├── snap/
├── .gitignore
├── LICENSE
├── README.md
└── recurrent-vln-bert.yml

目录结构介绍

• connectivity/: 包含 Matterport3D 导航图的连接性信息。
• data/: 包含 R2R 数据集和增强数据（如 PREVALENT 数据集）。
• img_features/: 包含 Matterport3D 场景的图像特征（如 ResNet-152-Places365 特征）。
• logs/: 用于存储训练和测试的日志文件。
• r2r_src/: 包含项目的核心代码，包括模型定义、数据处理等。
• run/: 包含用于训练和测试的脚本。
• snap/: 用于存储训练好的模型权重。
• .gitignore: Git 忽略文件配置。
• LICENSE: 项目许可证文件。
• README.md: 项目介绍和使用说明。
• recurrent-vln-bert.yml: 项目的配置文件。

2. 项目的启动文件介绍

启动文件

• run/train_agent.bash: 用于训练模型的启动脚本。
• run/test_agent.bash: 用于测试模型的启动脚本。

使用方法

1. 训练模型:

   bash run/train_agent.bash
   

   该脚本会启动训练过程，并将训练好的模型权重保存到 snap/ 目录下。

2. 测试模型:

   bash run/test_agent.bash
   

   该脚本会加载训练好的模型权重，并进行测试。

3. 项目的配置文件介绍

配置文件

• recurrent-vln-bert.yml: 项目的配置文件，包含模型的各种参数设置。

配置文件内容

# 示例配置文件内容
model:
  type: "oscar"  # 模型类型，可以是 "oscar" 或 "prevalent"
  load: "snap/model_best.pth"  # 加载的模型权重路径

data:
  connectivity: "connectivity/mp3d_connectivity.zip"  # 连接性数据路径
  r2r: "data/R2R_train.json"  # R2R 数据路径
  prevalent: "data/prevalent/prevalent_triplets.zip"  # PREVALENT 数据路径
  img_features: "img_features/ResNet-152-places365.zip"  # 图像特征路径

training:
  batch_size: 32
  learning_rate: 0.0001
  epochs: 50

testing:
  batch_size: 64

配置文件说明

• model: 定义模型的类型和加载的权重路径。
• data: 定义数据的路径，包括连接性数据、R2R 数据、PREVALENT 数据和图像特征数据。
• training: 定义训练时的参数，如批量大小、学习率和训练轮数。
• testing: 定义测试时的参数，如批量大小。

通过修改 recurrent-vln-bert.yml 文件中的参数，可以调整模型的训练和测试行为。

Recurrent-VLN-BERT Code of the CVPR 2021 Oral paper: A Recurrent Vision-and-Language BERT for Navigation 项目地址: https://gitcode.com/gh_mirrors/re/Recurrent-VLN-BERT