Salience-DETR 开源项目使用教程

Salience-DETR 开源项目使用教程

Salience-DETR [CVPR 2024] Official implementation of the paper "Salience DETR: Enhancing Detection Transformer with Hierarchical Salience Filtering Refinement" 项目地址: https://gitcode.com/gh_mirrors/sa/Salience-DETR

1. 项目介绍

Salience-DETR 是一个用于目标检测的开源项目，基于 Detection Transformer (DETR) 架构，通过层次化的显著性过滤细化机制来增强检测性能。该项目由 Xiuquan Hou、Meiqin Liu、Senlin Zhang、Ping Wei 和 Badong Chen 共同开发，并已被 CVPR 2024 接收。

主要特点

• 层次化过滤机制：通过显著性监督减少计算复杂度。
• 显著性监督：即使在只有边界框标注的情况下，也能捕捉细粒度的对象轮廓。
• 性能提升：在三个具有挑战性的缺陷检测任务中，Salience-DETR 分别提升了 4.0%、0.2% 和 4.4% 的 AP。

2. 项目快速启动

2.1 环境准备

首先，克隆项目到本地：

git clone https://github.com/xiuqhou/Salience-DETR.git
cd Salience-DETR

创建并激活 Conda 环境：

conda create -n salience_detr python=3.8
conda activate salience_detr

安装 PyTorch 和 Torchvision：

conda install pytorch==1.11.0 torchvision==0.12.0 torchaudio==0.11.0 cudatoolkit=11.3 -c pytorch

安装其他依赖项：

conda install --file requirements.txt -c conda-forge

2.2 数据准备

下载 COCO 2017 数据集并组织如下：

coco/
├── train2017/
├── val2017/
└── annotations/
    ├── instances_train2017.json
    └── instances_val2017.json

2.3 模型训练

使用 accelerate 包进行多 GPU 训练：

CUDA_VISIBLE_DEVICES=0 accelerate launch main.py

2.4 模型评估

使用以下命令进行模型评估：

CUDA_VISIBLE_DEVICES=0 accelerate launch test.py --coco-path /path/to/coco --model-config /path/to/model.py --checkpoint /path/to/checkpoint.pth

3. 应用案例和最佳实践

3.1 缺陷检测

Salience-DETR 在缺陷检测任务中表现出色，特别是在细粒度对象轮廓的捕捉上。通过显著性监督，模型能够更准确地识别和定位缺陷区域。

3.2 对象检测

在 COCO 2017 数据集上，Salience-DETR 实现了 49.2 AP，且计算量仅为传统方法的 70%。这使得它在资源受限的环境中具有显著优势。

4. 典型生态项目

4.1 Detection Transformer (DETR)

DETR 是 Salience-DETR 的基础架构，通过端到端的方式进行目标检测，简化了传统目标检测流程。

4.2 COCO 数据集

COCO 数据集是 Salience-DETR 的主要训练和评估数据集，提供了丰富的标注信息，有助于模型的训练和验证。

4.3 PyTorch

PyTorch 是 Salience-DETR 的主要开发框架，提供了强大的张量计算和自动求导功能，支持高效的模型训练和推理。

通过以上步骤，您可以快速上手 Salience-DETR 项目，并在实际应用中获得优异的检测效果。

Salience-DETR [CVPR 2024] Official implementation of the paper "Salience DETR: Enhancing Detection Transformer with Hierarchical Salience Filtering Refinement" 项目地址: https://gitcode.com/gh_mirrors/sa/Salience-DETR