代码理解DETR和DeformableDETR

最新推荐文章于 2025-05-10 18:16:06 发布
最新推荐文章于 2025-05-10 18:16:06 发布
阅读量964 收藏 9
点赞数 19
分类专栏： 目标检测 文章标签： 人工智能 目标检测 transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_51619560/article/details/144011319
版权

以下内容记录我在阅读DETR和Deformable DETR论文及源码过程中对网络结构、以及自注意力、可变形注意力的理解，可能存在一些错误，欢迎讨论~

代码理解DETR

重绘网络图

image-20241114154934049

理解

encoder：

  1. Q/K/V的内容信息是一样的，都是输入的图像特征，Q/K还增加了位置信息；
  2. Q/K增加的位置信息是一样的，都是利用Sin-Cos生成的固定位置信息；
  3. 各个encoder layer的输出值都是施加了自注意力后的、各位置关注了其他所有位置信息后而优化出的、更好的feature representations；(体现Transformer的全局依赖建模能力)
  4. 新的feature representations作为下一层encoder layer的输入特征，再结合Sin-Cos生成的固定位置信息pos_embed，一起作为下一层encoder layer的输入；
  5. 各个encoder layer的Sin-Cos固定位置信息pos_embed都是一样的，只在最初生成一次；
  6. 最后整个encoder的输出值(即memory)，就是充分施加了自注意力后的、各位置充分关注了其他所有位置信息后而优化出的、更好的feature representations；
  7. memory作为输入decoder的K/V的内容信息，K还需要加上Sin-Cos的固定位置信息pos_embed，二者一起作为cross-attention输入

decoder：

  1. query_embed代表object query的位置信息，是可学习的；
  2. 初始化时object query被初始化为(100, 256)的全零向量；
  3. 在self-attention中，Q/K/V拥有同样的内容信息，K/V还增加了相同的可学习的位置信息query_embed；
  4. self-attention的输出值是施加了自注意力后的、各object query关注了其他所有位置object query信息后而优化的、更好的object query(内容信息更优质的object query)；
  5. 在cross-attention中，Q是self-attetion输出的object query再加上可学习的位置信息query_embed，K/V包含memory的内容信息，K还增加了Sin-Cos的固定位置信息pos_embed；
  6. cross-attention的输出值代表：根据object query信息(由Q代表)去图像特征(由memory得到的K/V代表)查找到最相关的图像特征，这个图像特征会作为下一个decoder layer的object query进行输入

代码理解Deformable DETR

重绘网络图

DeformableDETR-pure.drawio

理解

encoder：

  1. Q/K/V的内容信息是一样的，都是输入的多尺度图像特征，Q/K还增加了位置信息；
  2. Q/K增加的位置信息是一样的，即level_pos_embed，它包括利用Sin-Cos生成的固定位置信息pos_embed_per_level和可学习的区分不同尺度特征层的位置信息scale_level_embed；
  3. sampling_locations = references_points + sampling_offsets；其中references_points代表各特征层的grid center point位置全部归一化后再汇总，最终得到的全部特征点的坐标(所有特征层的会一起投影到每个特征层)，sampling_offsets是网络预测的采样点的偏移位置(个数为num_levels*num_samping_points)，sampling_locations 为最终deformable attention关注的采样点位置；
  4. 在Multi Scale Deformable Attention中，Q通过Linear得到针对sampling points的注意力权重attention weights，V通过Linear得到Value(代表所有reference points的value)，要想加权求和，还需要从V中精选出sampling points位置的value，所以这里的输入包括3个新增红线；
  5. 各个encoder layer的输出值都是施加了可变形注意力后的、各位置关注了其他几个重要位置信息后而优化出的、更好的feature representations；(体现Deformable Attention的关注重点能力)
  6. 新的feature representations作为下一层encoder layer的输入特征，再结合位置信息level_pos_embed，一起作为下一层encoder layer的输入；
  7. 在一次前向传播过程中，各个encoder layer在输入时添加的位置信息level_pos_embed都是一样的；
  8. 最后整个encoder的输出值(即memory)，就是充分施加了可变形注意力后的、各位置充分关注了其他几个重要位置信息后而优化出的、更好的feature representations
  9. memory作为输入decoder的V的内容信息，作为cross-attention的输入

decoder：

  1. query position embeding代表object query的位置信息，是可学习的；
  2. object query和query position embeding都是可学习的，维度都为(300, 256)；
  3. 在self-attention中，Q/K/V拥有同样的内容信息，K/V还增加了相同的可学习的位置信息query position embedding；
  4. self-attention的输出值是施加了自注意力后的、各object query关注了其他所有位置object query信息后而优化的、更好的object query(内容信息更优质的object query)；
  5. 在cross-attention(Multi Scale Deformable Attention)中，Q是self-attention输出的object query再加上可学习的位置信息query position embedding，V包含memory的内容信息；为了执行可变形注意力，还需要找到采样点sampling points，所以还需要输入reference points、spatial_shapes和level_start_index；
  6. 注意这里的reference points是可学习的，和encoder中固定位置的reference points不同；
  7. cross-attention的输出值代表：根据object query信息(由Q代表)去图像特征(由memory得到的V代表)查找到最相关的图像特征，这个图像特征会作为下一个decoder layer的object query进行输入；
  8. 在一次前向传播过程中，每一个decoder layer层输入的reference points、level_start_index、spatial_shapes都是相同的；其中level_start_index、spatial_shapes在encoder和decoder中都是相同的

Self-Attention和Deformable Attention

  • 正如前面黄色高亮的部分，Self-Attention关注序列中一个位置的token和其他所有位置(包括自身)token的相互依赖关系，这体现了Transformer的全局建模能力(relation modeling capability)；
  • 而Deformable Attention关注序列中一个位置的token和其他几个重要位置(即采样点sampling points)的token的相互依赖关系，这体现了Deformable Attention的稀疏空间采样(sparse spatial sampling)能力
mmdetection项目debug：deformable-detr
m0_51951660的博客
09-11 1786
源码阅读
Co-DETR：基于协作混合分配训练的DETR
m0_47867638的博客
12-20 1988
目标检测是计算机视觉中的一项基本任务，它要求我们定位对象并分类其类别。开创性的R-CNN系列[11、14、27]和一系列变体[31、37、44]，如ATSS[41]、RetinaNet[21]、FCOS[32]和PAA[17]，导致了目标检测任务的重大突破。一对一标签分配是它们的核心方案，其中每个groundtruth框被分配到检测器输出中的多个坐标作为监督目标，这些坐标可以是提议[11、27]、锚点[21]或窗口中心[32]。
DETR、conditional DETR、Deformable DETR
qq_45836365的博客
11-22 2513
DETR是将transformer机制应用到目标检测领域的算法模型。其主要思想是利用transformer的encoder-decoder架构，利用注意力机制来实现端到端获得目标检测的结果。如图所示为DETR模型的结构，其主要由backbone，transformer block，prediction heads三部分组成。backbone作为输入图像的初步特征提取，主要由卷积神经网络如(resnet50)完成，对于输入图像(B×3×H×W），其中B为batch_size,H,W为图像的宽高。
目标检测算法-transformer系列-Deformable DETR（附论文和源码）
09-27 4655
目标检测算法-transformer系列-Deformable DETR（附论文和源码）
DETR与Deformable DETR小结
热门推荐
Q1u1NG的博客
10-20 1万+
DETR与deformable DETR小结DETRDeformable DETR DETR 论文地址https://arxiv.org/abs/2005.12872 论文解读 DETR将检测视为集合预测问题，简化了目标检测的整体流程。它没有现在主流的目标检测器中的anchor、label assign、nms等操作，做到了真正的end-to-end。它主要采用了Transformer的编解码结构，它在序列预测任务上大获成功。Transformer中的自注意力机制显示地界定了序列中元素间的相互作用，因此可以
【mmdetecion】DETR、DeformableDETR和DINO
yinglang19941010的专栏
04-10 1293
fill:#333;color:#333;color:#333;fill:none;
【目标检测】Deformable DETR
研究兴趣：开放集识别、开放世界识别、新类发现、增量学习、少样本学习
05-06 2438
Deformable DETR 提出多尺度可变形注意力 (Multi-scale Deformable Attention) 解决 DETR 收敛速度慢、特征图尺度单一等问题。
DETR 个人理解
蜗牛博客
01-19 1090
transformer进行目标检测论文DETR的个人理解
经典文献阅读之--Deformable DETR
lovely_yoshino的博客
07-01 8769
已经好久不写深度学习相关的博客了。但是我觉得DETR值得我重新时期来进行详细介绍。Deformable DETR作为这两年来最有名的DETR变种之一，当然代码量也是比较多的。这里我们从论文到代码来详细分析Deformable DETR的精华之处。最近两年时间从Attention到NAS再到Transformer，视觉检测行业被Transformer拉到了一个新的高度。而DETR作为Transformer中近两年备受关注的方法，也吸引了很多人争相的去改动。其中比较有名的就是Deformable DETR。DE
Deformable-DETR代码学习笔记
athrunsunny的博客
05-14 2645
其中的大部分内容都是通用的，唯一的区别在于backbone中resnet输出的feature map，DETR输出的是[N,2048,H,W]维的tensor，而Deformable-DETR输出resnet最后三层的feature map，channel的维度分别为512，1024，2048，尺度分别除以8，16，32。Deformable-DETR代码基本沿用了DETR的工程，主要改了transformer部分的代码，输入的图像经过backbone以及数据进入encoder之前的部分内容可以参看。
【DETR】2、Deformable DETR | 使用多尺度可变形 attention 的方式来解决 DETR 收敛慢和小目标不好的问题
呆呆的猫的博客
10-26 5627
本文主要介绍 Deformable DETR
Deformable DETR：结合多尺度特征、可变形卷积机制的DETR
weixin_44052271的博客
10-20 1976
针对上述两个问题，文章提出Deformable-DETR，将可变形卷积（deformable convolution，不了解原理的同学可自行查阅）处理稀疏空间位置的机制和transformer的全局建模能力结合起来，缓解了收敛速度慢的问题（），同时提出的机制可扩展到多尺度特征，从而进一步提高了小目标的检测性能，一举两得。
目标检测技术的发展：从R-CNN、YOLO到DETR、DINO
DeepAIedu的博客
09-30 1854
OV-DINO的出现标志着在开放域目标检测领域的重大进步，其在处理未见过的物体类别时的能力得到了显著提升。这项技术对于需要适应未知或变化环境的应用具有重要意义，如自动驾驶、机器人视觉、安防监控等。
CVPR‘24 | 百度开源DETRs在实时目标检测中胜过YOLOs
3D视觉工坊
03-06 559
在本文中，提出了RT-DETR，据作者所知是第一个实时端到端检测器。作者首先对NMS进行了详细分析，并建立了一个端到端速度基准，验证了当前实时检测器的推理速度受到NMS延迟的事实。作者还从NMS的分析中得出结论，无锚点检测器在相同准确性下优于基于锚点的检测器。为了避免NMS造成的延迟，设计了一个实时端到端检测器，包括两个关键改进组件：一个能够高效处理多尺度特征的混合编码器和提高对象查询初始化的IoU感知查询选择。
基于对应点分类的对象识别 报错
qq_25194681的博客
05-07 573
【代码】基于对应点分类的对象识别 报错。
Python数据分析案例74——基于内容的深度学习推荐系统（电影推荐）
weixin_46277779的博客
05-10 407
电影数据集构建推荐系统，结合内容推荐和深度学习两种方法。预处理、探索性分析，加权平均法和余弦相似度进行基于内容的推荐，计算电影的相似度并生成推荐结果。并且使用深度学习模型，构建评分预测和检索任务，用户个性化推荐和评分预测。
Qwen3 混合思维模版解读
qq128252的博客
05-07 928
在人工智能迅速发展的今天，大型语言模型（Large Language Models，简称LLM）正逐渐成为各类应用的核心组件。其中，对话模板（Chat Template）作为连接用户与模型的关键桥梁，对确保高质量的交互体验至关重要。本文将深入解析Qwen3使用的对话模板，揭示其如何优雅地处理多轮对话、工具调用等复杂场景。
《Python星球日记》 第51天：神经网络基础
最新发布
Code_流苏：在代码中寻诗意
05-10 534
神经网络是什么？简单来说，它是一种模仿人类大脑结构和工作方式的算法模型，能够从大量数据中学习复杂的模式。无论是语音识别、图像分类还是自然语言处理，神经网络都展现出了强大的能力。让我们一起踏上这段奇妙的旅程吧！
YOLO目标检测算法评估标准
jdjhcn的博客
05-10 358
不同类型的模型，评估指标各有侧重。分类模型中，准确率反映预测正确的整体比例；精确率关注预测正例中实际正例的占比；召回率衡量实际正例被正确预测的程度；F1 值综合精确率与召回率，适合样本不均衡场景。回归模型里，均方误差计算预测值与真实值误差平方的均值，能体现平均差异；平均绝对误差以误差绝对值平均，对异常值敏感度低；聚类模型中，轮廓系数综合凝聚度和分离度，值近 1 代表聚类佳。那么我们今天学习的YOLO目标检测模型使用什么指标评估模型的效果。
detr代码
03-20
### DETR 的代码实现 DETR (End-to-End Object Detection with Transformers) 是一种基于 Transformer 的端到端目标检测方法。其官方实现由 Facebook 提供，主要采用 PyTorch 编写[^1]。 以下是 DETR 官方代码库中的核心部分： #### 依赖环境设置 为了运行 DETR 的代码实现，首先需要安装必要的开发工具和 Python 库。推荐使用 Visual Studio Code 进行开发调试。可以通过以下命令安装基础依赖项： ```bash pip install torch torchvision cython pip install -r requirements.txt ``` #### 数据集准备 DETR 支持 COCO 数据集作为训练数据源。下载并解压 COCO 数据集后，需配置路径以便模型能够访问这些文件[^3]。 #### 主要模块解析 1. **Transformer Encoder 和 Decoder** - 在 DETR 中，Encoder 负责提取全局上下文信息，通过在每个注意力机制中加入位置编码来增强特征的相关性。 - Decoder 则用于生成对象查询（Object Queries），并通过多头注意力机制逐步细化预测结果。 2. **损失函数设计** - 使用匈牙利算法匹配预测框与真实标注框，从而最小化整体代价矩阵。 #### 训练脚本示例 下面是一个简单的训练脚本模板： ```python import argparse from detr.models import build_model from datasets.coco import CocoDetection, make_coco_transforms from engine import train_one_epoch, evaluate def main(args): dataset_train = CocoDetection( image_set='train', args=args, transforms=make_coco_transforms('train') ) model, criterion, postprocessors = build_model(args) model.to(device) optimizer = torch.optim.AdamW(model.parameters(), lr=args.lr, weight_decay=args.weight_decay) for epoch in range(args.start_epoch, args.epochs): train_stats = train_one_epoch( model, criterion, data_loader_train, optimizer, device, epoch ) if __name__ == '__main__': parser = argparse.ArgumentParser() # 添加参数... args = parser.parse_args() main(args) ``` 对于 Meta-DETR，这是一个针对少样本目标检测的改进版本，具体实现可参考该项目仓库[^2]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值