TOIST 项目使用教程-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00078/article/details/139894874

TOIST 项目使用教程

TOIST [NeurIPS 2022] TOIST: Task Oriented Instance Segmentation Transformer with Noun-Pronoun Distillation 项目地址: https://gitcode.com/gh_mirrors/to/TOIST

1. 项目介绍

TOIST（Task Oriented Instance Segmentation Transformer with Noun-Pronoun Distillation）是一个面向任务的实例分割Transformer模型，专门用于处理任务导向的检测和分割问题。该项目在NeurIPS 2022上发表，旨在通过Transformer架构和名词-代词蒸馏框架，提升任务导向实例分割的性能。

TOIST的主要特点包括：

任务导向实例分割：扩展了传统的实例分割任务，使其能够更好地服务于机器人交互等下游应用。
Transformer架构：利用Transformer的注意力机制，自然地建模查询之间的关系，从而选择最优候选对象。
名词-代词蒸馏框架：通过无监督方式生成名词原型，并训练上下文代词特征来选择这些原型，使得网络在推理时保持名词无关性。

2. 项目快速启动

2.1 环境准备

首先，确保你已经安装了Anaconda，并创建一个新的conda环境：

conda create --name TOIST python=3.8
conda activate TOIST

2.2 安装依赖

安装项目所需的依赖包：

pip install -r requirements.txt

2.3 数据准备

下载COCO-Tasks数据集，并按照以下结构组织数据目录：

data/
├── id2name.json
├── images/
│   ├── train2014/
│   └── val2014/
└── coco-tasks/
    └── annotations/
        ├── task_1_train.json
        ├── task_1_test.json
        ├── task_14_train.json
        └── task_14_test.json

2.4 训练模型

使用以下命令启动训练：

CUDA_VISIBLE_DEVICES=0,1,2,3,4,5 python -m torch.distributed.launch --master_port=23456 --nproc_per_node=6 --use_env main.py \
    --dataset_config configs/tdod.json \
    --train_batch_size 6 \
    --valid_batch_size 8 \
    --load /path/to/pretrained_resnet101_checkpoint.pth \
    --ema --text_encoder_lr 1e-5 --lr 5e-5 \
    --num_workers 5 \
    --output-dir 'logs/test' \
    --eval_skip 1

2.5 模型评估

使用以下命令进行模型评估：

CUDA_VISIBLE_DEVICES=0 python -m torch.distributed.launch --master_port=23456 --nproc_per_node=1 --use_env main.py \
    --dataset_config configs/tdod.json \
    --valid_batch_size 8 \
    --num_workers 5 \
    --resume /path/to/checkpoint \
    --ema --eval \
    --output-dir 'logs/test'