详解DETR和Transformer

最新推荐文章于 2025-04-20 14:55:50 发布
最新推荐文章于 2025-04-20 14:55:50 发布
阅读量4.5k 收藏 16
点赞数
分类专栏： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhuziyu_edward/article/details/111152793
版权
本文探讨Transformer如何从NLP领域跨越到CV领域，应用于端到端目标检测和图像分类。介绍了Transformer的模型结构，重点讲解了DETR和Deformable-DETR的改进，以及相关论文列表。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Transformer在视觉领域的应用

前言

在机器翻译， NLP领域， 基于attention机制的transformer模型取得了很好的结果， 目前有许多工作把Transformer用到CV领域， 实现端到端的目标检测和图片分类。 在这篇博客中， 我们会从Attention机制开始回顾， 之后解释Transformer的结构， 最后讲解三篇把transformer应用到计算机视觉任务的模型。

Attention机制

Attention机制起源于自然语言处理中的seq2seq模型， 这个模型是一个RNN的结构， 输入一个句子， 输出机器翻译后的句子， 或者是这个句子的下一段话。

image-20201214105209842

对于这种模型而言， 很大的一个问题就是每一层传给下一层的向量长度是固定的， 很难用固定长度的向量表达前面的全部信息， 因此在句子很长的时候，模型效果不是很好。

比如

image-20201214105504305

这个时候应该回答That’s why I like apple, 但是因为中间插入了N个词， 信息太多了， 模型忘记了前面的apple。

解决这个问题的办法就是attention</

最低0.47元/天 解锁文章
Transformer-Encoder & Decoder细节详解（以DETR为例）
认真努力，做一只会飞的毛毛虫。
01-08 9851
由于很多知识网上都可以查到，大的篇幅不会讲Self Attention，本节将围绕以下细节作以分析：Add操作及目的、Norm操作及目的、不用Norm可不可以、为什么将BN不用于transformer任务、Feed Forward操作目的。 Encoder分解之Add & Norm Add操作：Add在Encoder中是一种残差连接，指X+ Multi-Head Self-Attention(X) 和 X+ Feed Forward(X)。其ResNet 所用的是相同结构。为了能够相...
详细理解（学习笔记） | DETR（整合了Transformer的目标检测框架） DETR入门解读以及Transformer的实操实现
qq_53250079的博客
11-04 1万+
DETR的学习以及Transformer实操 DETR，全称 DEtection TRansformer，是Facebook提出的基于Transformer的端到端目标检测网络，发表于ECCV2020。链接链接DETR 端到端目标检测网络模型，是第一个将成功整合为检测pipline中心构建块的目标检测框架模型。基于Transformers的端到端目标检测，没有NMS后处理步骤、真正的实现不利用anchor，且其与Faster RCNN相比，超越了后者。
【详细解读DETR，基于transformer的目标检测网络】DETR： End-to-End Object Detection with Transformers
热门推荐
m0_48086806的博客
08-08 5万+
【详细解读DETR，基于transformer的目标检测网络】DETR： End-to-End Object Detection with Transformers
DETR：端到端目标检测与Transformer
最新发布
探索人工智能革命，深入算法原理与创新应用，未来科技无限可能。
04-20 686
我们提出了一种新方法，将目标检测视为一个直接的集合预测问题。我们的方法简化了检测流程，有效地去除了许多手工设计的组件，例如非最大抑制（non-maximum suppression）程序或锚点生成，这些组件显式地编码了我们对任务的先验知识。新框架的主要组成部分是一个基于集合的全局损失，它通过二分匹配强制唯一预测，以及一个transformer编码器-解码器架构。给定一组固定的小规模学习对象查询，DETR通过推理对象之间的关系以及全局图像上下文，直接并行输出最终的预测结果。
detr和transformer的区别
m0_38043555的博客
07-27 1144
detr和transformer的区别 简而言之，就是detr的decoder端没有严格的时序关系，就是可以并行的解码，对于N=100个object query embedding，直接利用self-attention解码即可，在训练时，也不需要加上mask attention，就是像输入一样即可。 ...
transformer系列——detr详解
qq_52053775的博客
08-12 1750
先来个CNN得到各Patch作为输入，再使用transformer做编码和解码编码方式跟VIT基本一样，重在在解码，Detr假设一张图片中最多有100个物体，直接预测100个坐标框。
DETR个人学习笔记（二）之Transformer架构概述
weixin_44303979的博客
05-13 692
下面来了解Transformer的原理。 首先我们来回顾一下RNN，RNN的encoder做编码的时候对于输入的句子需要一个个的处理。在左边的部分可以看到，在处理句子的时候，我们需要一个词一个词的将词语输入RNN。RNN有梯度消失的问题（vanishing gradient problems）。对于Transformer encoder，它可以把整个句子同时输入编码器，也就是把整个句子并行的处理。使得每个token可以关注到别的token，而不仅是关注到自身。这里的token是指把句子分割成词，或者分割成词
Transformer学习之DETR
超爱吃小蛋糕的66的博客
08-05 1346
首次将Transformer拓展到目标检测领域中，DETR抛弃了几乎所有的前处理和后处理操作，不需要进行设计锚框来提供参考，或者利用非极大值（NMS）抑制来筛除多余的框，使模型做到了真正的End-to-End检测，即对于输入的任意图像统一输出N个带有类别和置信度的Box结果。沐神论文精读搞懂DEtection TRanformer(DETR)详细解读DETRTransformer中的position encoding。
Anchor DETR：Transformer-Based目标检测的Query设计
weixin_44052271的博客
10-24 851
根据anchor point得到object query，使其具有明确物理意义，每个object query关注特定区域；针对第一点可能面临的“一个区域多个目标”的挑战，进一步将多个pattern整合到了一个object query，可实现一个位置多个目标的检测；提出行列解耦注意力机制，在降低显存使用的同时，性能可媲美甚至超过标准注意力机制。上述改进使得模型收敛速度提高了10倍，性能也有较为显著提升。
计算机视觉中基于Transformer的目标检测模型DETR及其Object Queries详解
03-21
内容概要：DETR模型提出了基于Transformer架构的一种全新端到端目标检测方法。其主要流程包括图像经由CNN提取特征并与位置编码相结合，随后送入Transformer编码器利用自注意力机制处理。紧接着，在解码器部分，...
目标检测算法-transformer系列-DETR论文解析（附论文与源码）
09-23 7499
目标检测算法-transformer系列-DETR论文解析（附论文与源码）
学习总结——注意力机制(transformer、DETR)
summer_xm的博客
04-05 1224
将Ci送入softmax函数中，得到概率Pi，将Pi与Vi相乘再相加得到VT，这个VT是Query的Value，这样就将数据库中的不同答案Value赋予了不同的权重，与数据库中问题Key相似度越高，其答案的重要程度越高，更可能是新问题Query对应的答案。我们知道图片可以通过提取特征进行分类、目标检测等后续操作，拿最简单的图片分类来说，可以将图片分类成猫、狗等，但图片中可能含有背景或者其他杂物，也就是说，不是所有的像素点都对识别出目标物有用，那图片中的哪些像素点是对于识别出目标物是重要的呢？
5.10.3 使用 Transformer 进行端到端对象检测（DETR）
qq_47896523的博客
05-11 1659
对象检测的目标是预测每个感兴趣对象的一组边界框和类别标签。在计算机图形学和图像处理中，锚点（Anchor Point）是一个特定的位置，通常用于描述图像中的特征点或区域。它可以是单个像素点，也可以是一个更复杂的区域如矩形或椭圆。锚点的主要作用是为图像处理和计算机视觉任务提供一个参考点，以便更准确地描述和定位图像中的特征。在目标检测任务中，锚点用于预测目标物体的位置和大小；在图像匹配任务中，它帮助找到图像中的相似区域。
【Transformer】detr梳理
胡侃有料的博客
04-18 677
detr。
DETR（DEtection TRansformer）要点总结
上个大学哪有不疯的？硬撑罢了！
01-09 6688
DETR翻译过来就是检测transformer，是Detection Transformers的缩写。这是一个将2017年大火的transformer结构首次引入目标检测领域的模型，是transformer模型步入目标检测领域的开山之作。利用transformer结构的自注意力机制为各个目标编码，依靠其并行性，DETR构造了一个端到端的检测模型，并且避免了以往模型中各种类型的冗余操作，让目标检测问题变得更加简单。
[Transformer] DETR: End-to-End Object Detection with Transformers
Cherry的笔记本
02-25 1069
ECCV2020 Facebook AI 第一个用Transformer进行目标检测的网络 论文： https://arxiv.org/abs/2005.12872 代码： https://github.com/facebookresearch/detr 搭建参考： 【CODE】Facebook 最新DETR（基于Transformer）目标检测算法实战_哔哩哔哩_bilibili 1 简介 DETR通过将常见的CNN与Transformer架构相结合，不仅做到了并行化，不需要..
【Transformer学习笔记】DETR：将transformer引入目标检测领域
sjflsahfisaojfsa的博客
12-15 3654
之前我们有讲过如何将transformer引入CV领域，想去看看的同学可以点击这里： 【Transformer学习笔记】VIT解析 VIT论文中最后的实验解决的是一个多分类任务。那么transformer的结构能不能用来解决目前cv领域大热的目标检测问题呢？ DETR，DEtecion TRsformer就是为了回答这个问题而诞生的。而且它的做法并不是只是直接用transformer结构将传统目标检测网络中的backbone给替换了，它还提出了一种基于set prediction的目标检测新思路。 原论文地
DETR纯代码分享（九）transformer.py
sinat_41942180的博客
09-27 776
""""""这段代码是一个用于实现DETR模型中的Transformer类的定义。DETR是一个用于目标检测的神经网络模型，它将目标检测任务转化为一个序列到序列（Sequence-to-Sequence）问题。: 这是一个类的定义，表示DETR模型中的Transformer部分。该类用于实现Transformer的结构和功能。: 该注释表明该类的定义是从PyTorch的类进行复制并进行了一些修改。在标准的Transformer模型中，位置编码是在Encoder和Decoder之前添加的。
目标检测2.0新范式！DETR：Transformer目标检测的开山之作
weixin_43980550的博客
10-01 2786
DETR提出一个简洁的pipeline，无需先验知识、手工操作，通过transformer编解码结构和二分图匹配优化，直接得到目标检测框和类别。开启transformer目标检测新范式！
DETR详解
03-21
### DETR架构详解 DETR (End-to-End Object Detection with Transformers) 是一种基于 Transformer 的端到端目标检测方法，它摒弃了传统的目标检测流程中的许多复杂组件，例如非极大值抑制(NMS)[^1] 和手工设计的锚框(anchor boxes)，从而简化了整个检测过程。 #### 原理概述 DETR 将目标检测视为一个集合预测问题(set prediction problem)。具体来说，模型通过输入图像并将其编码为特征图(feature map)，随后利用 Transformer 编码器-解码器结构来生成一组固定数量的对象边界框(object bounding box predictions) 及其对应的类别标签(class labels)[^2]。 以下是 DETR 架构的核心组成部分： #### 图像编码阶段 在这一部分中，卷积神经网络(CNN) 被用来提取图像的空间特征表示。通常采用 ResNet 作为骨干网络(backbone network)，并将最后一层的特征图送入后续模块处理。这些特征会被展平(flatten) 并转换成一系列一维向量序列(sequence of vectors)[^3]。 #### Transformer 结构 Transformer 主要由两大部分构成：编码器(encoder) 和 解码器(decoder)。 - **编码器**: 接收来自 CNN 提取的特征序列，并对其进行自注意力(self-attention) 计算以捕捉全局上下文关系(global context information)。 - **解码器**: 使用多头交叉注意力(multi-head cross attention mechanism) 来关联编码后的特征与可学习的位置嵌入(learnable positional embeddings)，最终输出 N 个对象查询(object queries) 对应的结果[^4]。 #### 集合匹配损失函数(Set Matching Loss Function) 为了训练该模型，定义了一种特殊的二分图匹配算法(bipartite matching algorithm)，用于计算预测结果和真实标注之间的最佳对应关系(best correspondence)。这种策略可以有效解决排列不变性(permutation invariance) 问题，在不依赖于特定顺序的情况下优化整体性能指标[^5]。 ```python import torch.nn as nn class DETR(nn.Module): def __init__(self, backbone, transformer, num_classes): super(DETR, self).__init__() self.backbone = backbone self.transformer = transformer hidden_dim = transformer.d_model self.class_embed = nn.Linear(hidden_dim, num_classes + 1) self.bbox_embed = MLP(hidden_dim, hidden_dim, 4, 3) def forward(self, samples: NestedTensor): features, pos = self.backbone(samples) src, mask = features[-1].decompose() assert mask is not None hs = self.transformer(src, mask, pos[-1])[0] outputs_class = self.class_embed(hs) outputs_coord = self.bbox_embed(hs).sigmoid() out = {'pred_logits': outputs_class[-1], 'pred_boxes': outputs_coord[-1]} return out ``` 上述代码展示了如何构建基本的 DETR 模型框架，其中包含了主要的功能模块及其相互作用方式。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值