transformer优化(二)-DETR 学习笔记

论文地址：https://arxiv.org/pdf/2005.12872.pdf

代码地址：https://github.com/bubbliiiing/detr-pytorch

https://github.com/facebookresearch/detr

1.是什么？

DETR（Detection Transformer）是一种基于Transformer的目标检测模型。它采用了一种全新的思路，将目标检测问题转化为一个集合预测问题。相比传统的目标检测方法，DETR不需要使用锚框或者候选框，而是直接从输入图像中预测出一组目标的边界框和类别。

DETR的整体结构如下：

1. 编码器（Encoder）：使用一系列的Transformer编码器层来提取输入图像的特征表示。
2. 解码器（Decoder）：使用一系列的Transformer解码器层来生成目标的边界框和类别预测。
3. 多头自注意力机制（Multi-Head Self-Attention）：用于捕捉目标之间的关系和上下文信息。
4. 线性层和位置编码：用于将特征映射到目标的边界框和类别预测。

DETR的实现思路是通过Transformer模型来实现目标检测任务。它将目标检测问题转化为一个集合预测问题，通过直接从输入图像中预测出一组目标的边界框和类别来完成目标检测任务。

2.为什么？

提出了一种将目标检测视为直接集预测问题的新方法。我们的方法简化了检测管道，有效地消除了许多手工设计的组件，如非最大抑制过程或锚生成，这些组件显式地编码了我们对任务的先验知识。新框架的主要组