MeViS项目使用与启动教程

MeViS项目使用与启动教程

MeViS [ICCV 2023] MeViS: A Large-scale Benchmark for Video Segmentation with Motion Expressions 项目地址: https://gitcode.com/gh_mirrors/me/MeViS

1. 项目目录结构及介绍

MeViS项目的目录结构如下：

mevis
├── train                       // 训练集目录
│   ├── JPEGImages              // 视频帧图片
│   ├── mask_dict.json          // 分割掩膜字典
│   └── meta_expressions.json   // 参考表达式元数据
│
├── valid_u                     // 验证集目录（用户验证）
│   ├── JPEGImages
│   ├── mask_dict.json
│   └── meta_expressions.json
│
└── valid                       // 验证集目录
    ├── JPEGImages
    └── meta_expressions.json

• train: 包含训练所需的视频帧、分割掩膜字典和参考表达式元数据。
• valid_u: 包含用户验证所需的视频帧、分割掩膜字典和参考表达式元数据。
• valid: 包含公开验证所需的视频帧和参考表达式元数据。

2. 项目的启动文件介绍

项目的启动文件是train_net_lmpm.py，它负责初始化模型、加载数据、执行训练或评估等操作。以下是一个基本的启动命令示例：

python train_net_lmpm.py \
--config-file configs/lmpm_SWIN_bs8.yaml \
--num-gpus 8 --dist-url auto \
MODEL.WEIGHTS [path_to_weights] \
OUTPUT_DIR [output_dir]

此命令会使用lmpm_SWIN_bs8.yaml配置文件进行训练，并指定了使用的GPU数量、分布式训练的URL、模型权重路径和输出目录。

3. 项目的配置文件介绍

项目的配置文件是lmpm_SWIN_bs8.yaml，它定义了模型的设置、数据集的配置、训练的超参数等。以下是配置文件的部分内容示例：

TRAIN:
  ENABLE: True
  DATASETS:
    - "mevis_train"
  INPUT:
    HEIGHT: 256
    WIDTH: 256
  OUTPUT_DIR: "output"
  DEBUG: False
  EVALUATE: False

MODEL:
  NAME: "lmpm"
  WEIGHTS: "path_to_weights"
  ...

在配置文件中，可以设置训练集名称、输入图片的大小、输出目录以及是否开启调试模式等。

以上是MeViS项目的基本使用和启动教程，用户可以根据具体的需要调整配置文件并运行启动文件来进行项目的训练或评估。

MeViS [ICCV 2023] MeViS: A Large-scale Benchmark for Video Segmentation with Motion Expressions 项目地址: https://gitcode.com/gh_mirrors/me/MeViS