GPT4Point 项目安装与使用教程

GPT4Point 项目安装与使用教程

GPT4Point [CVPR 2024] GPT4Point: A Unified Framework for Point-Language Understanding and Generation. 项目地址: https://gitcode.com/gh_mirrors/gp/GPT4Point

1. 项目目录结构及介绍

GPT4Point
├── data
│   ├── cap3d
│   │   ├── points
│   │   │   ├── Cap3D_pcs_8192_xyz_w_color
│   │   │   │   ├── <point cloud id>.pkl
│   │   │   │   ├── ...
│   │   │   │   ├── <point cloud id>.pkl
│   │   ├── annotations
│   │   │   ├── cap3d_caption_train.json
│   │   │   ├── cap3d_caption_val.json
│   │   │   ├── cap3d_real_and_chatgpt_caption_test.json
│   │   │   ├── cap3d_real_and_chatgpt_caption_test_gt.json (for evaluation)
├── Objaverse-xl_Download
│   ├── ...
├── lavis
│   ├── ...
├── gitignore
├── LICENSE
├── README.md
├── evaluate.py
├── requirements.txt
├── train.py

目录结构说明

• data: 存放数据集的目录，包括点云数据和标注文件。
  • cap3d: 包含Cap3D数据集的点云数据和标注文件。
    • points: 存放点云数据文件。
    • annotations: 存放标注文件，包括训练集、验证集和测试集的标注。
• Objaverse-xl_Download: 存放Objaverse-XL数据集的下载和提取方式。
• lavis: 项目依赖的LAVIS库。
• gitignore: Git忽略文件配置。
• LICENSE: 项目许可证文件。
• README.md: 项目说明文档。
• evaluate.py: 项目评估脚本。
• requirements.txt: 项目依赖库配置文件。
• train.py: 项目训练脚本。

2. 项目启动文件介绍

train.py

train.py 是项目的训练脚本，用于启动模型的训练过程。训练过程分为两个阶段：

• 阶段1训练:

  python -m torch.distributed.run --master_port=32339 --nproc_per_node=4 train.py --cfg-path lavis/projects/gpt4point/train/pretrain_stage1_cap3d.yaml
  

• 阶段2训练:

  python -m torch.distributed.run --master_port=32339 --nproc_per_node=4 train.py --cfg-path lavis/projects/gpt4point/train/pretrain_stage2_cap3d_opt2.7b.yaml
  

evaluate.py

evaluate.py 是项目的评估脚本，用于评估模型的性能。评估命令如下：

python -m torch.distributed.run --master_port=32239 --nproc_per_node=1 evaluate.py --cfg-path lavis/projects/gpt4point/eval/captioning3d_cap3d_opt2.7b_eval.yaml

3. 项目的配置文件介绍

requirements.txt

requirements.txt 文件列出了项目运行所需的Python依赖库。使用以下命令安装依赖：

pip install -r requirements.txt

pretrain_stage1_cap3d.yaml 和 pretrain_stage2_cap3d_opt2.7b.yaml

这两个YAML文件分别是阶段1和阶段2训练的配置文件，定义了训练过程中的各种参数，如数据路径、模型配置、优化器设置等。

captioning3d_cap3d_opt2.7b_eval.yaml

这个YAML文件是评估阶段的配置文件，定义了评估过程中的各种参数，如数据路径、模型配置、评估指标等。

通过以上配置文件，用户可以灵活地调整训练和评估的参数，以适应不同的需求和环境。

GPT4Point [CVPR 2024] GPT4Point: A Unified Framework for Point-Language Understanding and Generation. 项目地址: https://gitcode.com/gh_mirrors/gp/GPT4Point