[模型学习与对比]DETR和ViT

原创 已于 2023-03-12 15:53:00 修改 · 2.9k 阅读 · 30 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #深度学习 #计算机视觉

于 2023-02-20 22:15:17 首次发布
文章介绍了VisionTransformer(ViT)和DETR两种基于Transformer的深度学习模型。ViT将图像转换为序列数据用于分类任务，而DETR则利用Transformer进行端到端的目标检测，避免了传统目标检测中的后处理步骤。两者都涉及将图像序列化，但处理方式和应用场景有所不同，DETR的核心在于Decoder的学习过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

上一周本来想写ViT的原理来着，后来发现这东西和DETR好像没啥区别，就是特征提取方式和后处理的方式不大一样，中间都是原方不动套的TRM，于是就改成同时记录一下二者的原理、区别和联系。

由于我发现如果不结合代码，即便写完了记录，第二天睡醒后也忘的特干净，所以我决定把代码解读也写了，下一篇发。

  1. Vision Transformer（分类任务）

1.1 我们知道，TRM的输入是一些序列，在提出的伊始倍用来处理NLP任务（如翻译）。

图1 使用TRM处理翻译任务时的输入

那么很显然，若想要使用TRM处理图像数据，一个非常朴素的思想就是把图像展开，将图像数据转换为序列数据（序列数据可以是图片的像素对应值，然后将这个转换为输入token），也就如下图所示：

图2 将图片数据转换为序列数据

但此种处理方式会面临随着图像增大，模型计算时的复杂度呈平方级增长的问题。遇到这种问题，可以采用：1. 采用局部注意力机制，也即图2中，2只和7，39做交叉注意力，13只和27，11做交叉注意力；2. 改进attention公式，采用稀疏注意力机制；3. 等等各种方法。。。

1.2 在此之上，我们还可以考虑将图像中的间隔像素点和其邻域的其他像素点整合在一起，为一个token，再进行输入和后续操作，如下图所示。

图3 图像化整为零

1.3 在有了这个操作后，由于后续处理的流程几乎不变，基本上就是输入Transformer然后得到输出，下面，我们可以看一下ViT的流程图：

图4 ViT整体流程1

  1. 将图片切分为一个个的16×16的patch

  1. 这个部分是用来获取每一个patch的Embedding，这里包含两个小步骤：

  1. 将16×16的patch展平；

  1. 将得到的256长度的向量，映射为Transformer所需要的长度；

NB:很明显，这里可以通过线性层进行映射，也可以通过设置卷积核的方式直接得出Embedding

  1. 位置编码与第二部中获得的Embedding相加

  1. e. 也就是直接向TRM encoder的输入与输出，将得到的多个维数为768的向量的第一个作为分类输入，使用常规的多分类方法进行分类。

图5 ViT整体流程2

  1. DETR（目标检测）

2.1 DETR是一种端到端的目标检测手段，可在不使用比如anchor这些传统手艺的前提下直接生成检测框。对于我们提到的这些传统手艺，其主要依靠于人工经验与数据集特征来针对性设置，不具有普适性。

并且这些东西涉及到非常多的后处理操作，具体表现在于这些手段有很大几率会在同一个物体上生成一大堆冗余的框，这时候需要使用NMS等后处理操作，消除那些框。

2.2 DETR的基本思路在于，首先在训练的过程中，无论如何，直接通过TRM并行地生成N个预测框（论文中N=100），然后通过匈牙利算法去匹配预测框和Ground Truth的k个框，选出最贴近的k个预测框，选出来后，用这k个预测框再和ground truth的k个框计算Loss，从而进行模型更新。

图6 DETR模型匹配思路

2.3 DETR步骤与TRM在其中的作用

图7 DETR整体步骤1

图8 DETR过程示意

我们这里结合一个实例来理解一下。

  1. 特征提取

  1. 输入一个3通道，大小为800×1066的图像，然后通过一个CNN的backbone提取特征，其输出的size是2048×25×34。这里的25和34分别是之前800和1066的1/32，2048是输出的通道数；

  1. 然后再把这个向量通过一个Linear层，将其通道数映射为256，那么它的size也就变成256×25×34；

  1. 在此基础上，把这个向量和位置编码相加，位置编码的size也是256×25×34；

  1. 与位置编码相加后，把这个256×25×34的向量拉直，得到850×256的向量，在这里，256是Embedding的size。

  1. 将上一步得到的向量经过TRM encoder，在这个过程中，Encoder学习图像全局信息，图像中每一个由CNN提取的特征都会与其他特征做交互，从总体上知道物体的大致位置，保证一个物体只出一个框。

可以把Encoder理解成一个提取各种特征，然后等待Decoder来选秀的过程；

图9 Encoder提取特征示意

  1. Decoder的输入是100个可学习的，size为256的Embedding，在这里充当TRM中query向量的角色，和Encoder中得到的特征不断地做Cross Attention，最终得到100个预测Embedding。

这里要着重说明一下，DETR的核心是Decoder，Decoder的核心是这100个输入的可学习向量，Decoer训练的过程可以理解成就是训练这100个query向量的过程。

非常有意思的一点在于，在作者的源码中，这100个可学习query向量都被初始化为0，然后加上位置编码作为输入，在此基础上对这100个向量进行学习。

另一个值得注意的点是，论文中提到的Decoder部分是M层的，但事实上，这M层的decoder只有一部分被重复了M次（图10红框部分）；

图10 DETR与Decoder结构示意

  1. 出框最后的一步也是最常规的一步，通过添加FFN检测头来进行预测，这里是做两个预测，一个是物体出框预测（四个值，中心点坐标x, y, 以及框的width, height），一个是物体类别预测。

  1. 在得到预测后，这100个预测框会和Ground Truth框一起通过匈牙利算法进行匹配，也就是2.2中和图7中所讲的内容；

  1. DETR与ViT对比

总体上我认为，DETR和ViT非常类似，都是针对于图像的任务，一个是图像分类，一个是目标检测，二者区别主要在于将图像序列化的方式不同（当然，毕竟这二者是不同任务，后处理部分也肯定是不一样的，但是可以看到的是，后处理部分使用的都是很常规的分类或检测手段，因此这里不纳入本文的考虑）。

在这里要感谢以下的up：

  1. https://www.bilibili.com/video/BV1GB4y1X72R/?share_source=copy_web&vd_source=54a003f2fe57290ef9f347426cdb53c9

  1. https://www.bilibili.com/video/BV1Uu411o7oY/?share_source=copy_web&vd_source=54a003f2fe57290ef9f347426cdb53c9

  1. "未来"的经典之作ViT：transformer is all you need! - 小小将的文章 - 知乎https://zhuanlan.zhihu.com/p/356155277

  1. https://www.bilibili.com/video/BV1ZT411D7xK/?p=2&share_source=copy_web&vd_source=54a003f2fe57290ef9f347426cdb53c9

【计算机视觉】Transformer在视觉中的崛起：ViT、DETR与Swin Transformer
优快云博客专家，系统架构师，有合作、疑惑请私信博主。
04-22 10万+
Transformer在视觉中的崛起：ViT、DETR与Swin Transformer，人工智能、大模型、AI深度学习在计算机视觉领域取得了令人瞩目的进展，从早期的卷积神经网络（CNN）主导，到近年来 Transformer 架构的异军突起，彻底改变了视觉任务的格局。Transformer 最初在自然语言处理（NLP）领域大放异彩，以其出色的捕捉长距离依赖关系的能力而闻名。随着研究的深入，研究者们开始探索将 Transformer 应用于视觉领域，这一尝试催生了一系列具有开创性的模型。
RT-DETR 模型的改进：PAN 结构与 MobileViT 的融合 | VOC2007 强势涨点 !
YOLOv8项目贡献者
10-23 1817
RT-DETR 模型的改进：PAN 结构与 MobileViT 的融合 | VOC2007 强势涨点 !
目标检测-Transformer-ViT和DETR
君子之学必日新，日新者日进也。不日新者必日退，未有不进而不退者
02-23 3329
随着Transformer爆火以来，NLP领域迎来了大模型时代，成为AI目前最先进和火爆的领域，介于Transformer的先进性，基于Transformer架构的CV模型也开始涌现。本文介绍一下最先得到可靠应用的简单模型：ViT（Vision Transformer）、DETR（Detection Transformer）。在COCO数据集上的性能，DETR和一个训练好的Faster R-CNN baseline是差不多的，无论从内存、速度还是精度来说。
深度学习之NLP学习笔记（五）—DETR与ViT
Jeremy_lf的博客
03-14 2066
AN IMAGE IS WORTH 16X16 WORDS ：TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE End-to-End Object Detection with Transformers
VisionTransformer[VIT]，DETR
To be a better man
04-03 2733
参考资料 Vision Transformer（ViT）PyTorch代码全解析（附图解）_Adenialzz的博客-优快云博客_vit-pytorch 神经网络学习小记录67——Pytorch版 Vision Transformer（VIT）模型的复现详解_Bubbliiiing的博客-优快云博客
学习视觉CV Transformer （3）--ViT、DETR的原理及代码分析
weixin_42495721的博客
10-24 732
CV Transformer --ViT、DETR的原理及代码分析
ViT：1 从DETR说起
鲁班模锤
05-25 1284
卷积神经网络目前在不同的计算机视觉图像识别任务中处于领先地位，Vision Transformers (ViT) 最近成为卷积神经网络CNN的有力替代品。在计算效率和准确性方面，ViT 模型的表现几乎比目前最先进的CNN高出 4 倍。
超越CNN的ViT模型及其应用前景
cvanlijingxuan的博客
01-04 3541
本文首先比较 ViT 模型与传统计算机视觉模型 CNN 的不同，详细指出 ViT 模型的优点和好处，介绍了 ViT 模型的各种变体、扩展和应用前景。
Transformer学习之DETR
超爱吃小蛋糕的66的博客
08-05 1353
首次将Transformer拓展到目标检测领域中，DETR抛弃了几乎所有的前处理和后处理操作，不需要进行设计锚框来提供参考，或者利用非极大值（NMS）抑制来筛除多余的框，使模型做到了真正的End-to-End检测，即对于输入的任意图像统一输出N个带有类别和置信度的Box结果。沐神论文精读搞懂DEtection TRanformer(DETR)详细解读DETRTransformer中的position encoding。
百度 RT-DETR 算法原理解析 | 超越YOLO的目标检测新高度？
热门推荐
YOLOv8项目贡献者
09-22 1万+
详解百度RT-DETR
Viterbi-decoder:卷积码仿真，使用维特比算法的解码器
05-02
#卷积码仿真 代码内包含基本的卷积码码编码器，译码器（维特比）实现方式，以及BPSK通信系统的基本仿真原理（AWGN信道）。 ##1. 运行环境和使用方法 运行环境：MATLAB 2014a 使用方法：设置相应参数，运行CC_Simulation。 ##2. 代码说明 代码供学习使用，这比MATLAB工具箱中的函数要慢上很多。 vitbiDecoder的译码结果和vitdec的不一样，一般来说是更好的。这是因为译码过程中在一组码完全译码之后，才进行了比较判决，同时最后选择了最大的metric路径。 注意vitbiDecoder还有一些潜在的问题没有解决。 ##3.维特比算法示例
VIT、Swim-trans、DETR最全流程讲解
weixin_43702653的博客
07-30 1359
VIT、Swim-trans、DETR最全流程讲解
DEtection TRansformer (DETR)与YOLO在目标检测方面的比较
知来者逆的博客
06-23 6057
YOLO是实时检测应用的绝佳选择，它专注于速度，适用于视频分析和实时目标跟踪等应用。另一方面，DETR在需要提高准确性和处理物体之间复杂交互的任务中表现出色，这在医学成像、细粒度目标检测以及检测质量优于实时处理速度的场景中可能特别重要。然而，重要的是要认识到，DETR的一个新迭代——被称为RT-DETR或实时DETR——在2023年发布，声称在速度和准确性方面都优于类似规模的所有YOLO检测器。这项创新虽然在这篇博客中没有涵盖，但它强调了这个领域的动态性质，以及根据特定应用需求进一步细化YOLO和DETR
YOLOv5、YOLOv6、YOLOv7、YOLOv8和RT-DETR的计算机视觉比较试验
JjtlReact的博客
09-19 734
通过对YOLOv5、YOLOv6、YOLOv7、YOLOv8和RT-DETR进行比较试验，可以根据不同的任务需求选择合适的模型。计算机视觉领域的目标检测一直是一个热门研究方向，而YOLO系列模型和RT-DETR是其中备受关注的算法。YOLOv5是YOLO系列中的最新版本，它采用了一种基于单阶段的目标检测算法，具有较快的推理速度和较高的准确率。需要注意的是，以上提供的源代码仅为简单示例，实际应用中可能需要根据具体情况进行修改和优化。与之前的版本相比，YOLOv8具有更高的准确率和更快的推理速度。
乱七八糟的笔记：Transformer/ViT/Swin transformer/DETR
m0_48610901的博客
03-18 1337
看B站沐神的课的即时笔记，乱但需要留一份。
transformer、vit-transformer、swin-transformer以及DETR的概念与区别
Joining667的博客
08-05 1287
Transformer、ViT (Vision Transformer) 、Swin Transformer 和DETR是深度学习领域中的不同架构，它们在自然语言处理（NLP）和计算机视觉（CV）任务中都有应用。
轻量检测之王！LW-DETR：超越 YOLO系列（百度&北航等）
CV_Autobot的博客
06-29 2023
作者|AI引擎 编辑| AI视界引擎点击下方卡片，关注“自动驾驶之心”公众号戳我-> 领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『目标检测』技术交流群本文只做学术分享，如有侵权，联系删文在本论文中，作者提出了一种轻量级的检测 Transformer ，LW-DETR，它在实时目标检测方面优于YOLO系列。该架构是一个简单堆叠的ViT编码器、投影器和浅层DE...
Transformer、VIT、SWin-TR、DETR的网络结构和改进思路
qq_53061668的博客
12-16 809
具体来讲，ViT算法中，会将整幅图像拆分成小图像块，然后把这些小图像块的线性嵌入序列作为Transformer的输入送入网络，然后使用监督学习的方式进行图像分类的训练。由于Transformer本质上是一个序列转换的作用，因此，可以将DETR视为一个从图像序列到一个集合序列的转换过程。相比于ViT网络架构，Swin Transformer考虑了多尺度下的图像，可以看到如下图所示：其通过不断的下采样，在多个图像的尺度维度进行检测，这样的话直观上可以很好的解决我们先前说的视觉实体的规模尺度的大小不同的问题。
vit模型是什么
最新发布
05-09
<think>好的，我现在要帮用户了解ViT模型的概念、原理和应用。首先，我需要整理用户提供的引用内容，看看有哪些信息可以利用。 用户给的引用1到4都是关于ViT的，其中引用2和4提到了ViT的核心思想是将图像分成块，用Transformer处理。引用3详细描述了ViT的架构步骤，比如分块、线性嵌入、位置编码等。引用4还提到了和CNN的对比，说明ViT的优势在于全局特征捕捉。 用户的问题是要了解ViT的介绍、原理和应用。所以我的回答需要覆盖这三个方面。首先，介绍部分需要简明扼要，说明ViT是什么，和传统CNN的不同。然后原理部分要分步骤讲解处理流程，可能包括分块、嵌入、位置编码、Transformer编码器等。应用部分需要举几个实际例子，比如分类、检测、跨模态任务等。 需要注意的是用户提到的系统级指令，比如数学公式要用$...$，独立公式用$$...$$，并且用中文回答。同时要生成相关问题。引用部分要在末尾添加标识，比如[^2]。 检查是否有遗漏的点，比如ViT的数学原理可能需要提到自注意力机制，但用户提供的引用中没有详细数学公式，可能需要根据已有的知识补充。例如，自注意力的公式可以写成：$Attention(Q, K, V) = softmax(\frac{QK^T}{\sqrt{d_k}})V$，但需要确认是否正确应用了格式。 另外，用户给的示例中的代码块，可能需要在ViT的代码实现部分添加一个简单的示例，比如Patch Embedding的实现，但引用3提到可以使用卷积操作，这点可以提及。 应用场景方面，引用1提到了分类、检测、分割和跨模态任务，可以展开说明每个任务中ViT的应用方式。 最后生成的相关问题要围绕ViT的可能疑问，比如和CNN的对比、位置编码的作用、训练数据需求等。 现在组织内容结构： 1. 模型介绍：定义、核心思想、与CNN对比。 2. 核心原理：分步骤详细说明，包括图像分块、嵌入、位置编码、Transformer处理、分类头。 3. 数学原理：自注意力机制、位置编码的数学表达。 4. 应用场景：分类、检测分割、跨模态。 5. 代码示例：简单的Patch Embedding或Transformer层代码。 6. 相关问题：列举几个相关问题。 需要确保每个部分都引用正确的来源，比如分块处理来自引用2和4，架构步骤来自引用3，应用场景来自引用1和4。 可能遇到的问题：用户提供的引用中没有详细数学公式，需要自己补充，但要确保正确性。同时，注意用中文解释这些公式，保持清晰。 现在开始撰写回答，确保结构清晰，符合用户的要求。</think>### Vision Transformer (ViT) 模型详解 #### 一、模型概念与核心原理 Vision Transformer（ViT）是一种基于Transformer架构的图像处理模型，**将图像拆分为小块序列并通过自注意力机制捕获全局特征**[^2]。与传统卷积神经网络（CNN）相比，ViT的优势在于： 1. **全局特征捕捉**：通过Transformer的自注意力机制直接建模图像块间的全局关系[^4]； 2. **去卷积化**：无需逐层提取局部特征，简化了模型结构[^2]。 #### 二、核心架构与工作原理 ViT的处理流程可分为以下步骤： 1. **图像分块** 输入图像被划分为固定大小的$N \times N$块（例如$16 \times 16$）。若图像尺寸为$H \times W$，则总块数为$\frac{H}{N} \times \frac{W}{N}$[^3]。 2. **块嵌入与线性投影** 每个图像块展平为向量后，通过线性变换映射到$D$维空间： $$ z_0 = [x_{class}; x_1E; x_2E; \cdots; x_nE] + E_{pos} $$ 其中$E$为嵌入矩阵，$E_{pos}$为位置编码[^4]。 3. **Transformer编码器** 包含多头自注意力（MSA）和前馈网络（FFN）模块： $$ z'_l = MSA(LN(z_{l-1})) + z_{l-1} \\ z_l = FFN(LN(z'_l)) + z'_l $$ $LN$表示层归一化，重复堆叠$L$次（如12层）[^3]。 4. **分类预测** 最终提取首个类别标记（Class Token）的特征，通过MLP头输出类别概率[^4]。 #### 三、数学原理详解 1. **自注意力机制** 核心公式为： $$ Attention(Q,K,V) = softmax\left(\frac{QK^T}{\sqrt{d_k}}\right)V $$ 其中$Q,K,V$分别由输入序列线性变换得到，$d_k$为维度缩放因子[^2]。 2. **位置编码** 采用可学习的1D位置编码，确保模型感知块的空间位置： $$ E_{pos} = [e_1; e_2; \cdots; e_n] \in \mathbb{R}^{(n+1)\times D} $$ #### 四、应用场景 1. **图像分类** 在ImageNet数据集上达到与CNN相当甚至更优的准确率[^3]。 2. **目标检测与分割** 如DETR模型将ViT与Transformer解码器结合，实现端到端检测[^1]。 3. **跨模态任务** 结合文本-图像对数据，用于CLIP等图文联合建模场景[^1]。 #### 五、代码示例（Patch Embedding实现） ```python import torch import torch.nn as nn class PatchEmbedding(nn.Module): def __init__(self, img_size=224, patch_size=16, in_chans=3, embed_dim=768): super().__init__() self.proj = nn.Conv2d(in_chans, embed_dim, kernel_size=patch_size, stride=patch_size) def forward(self, x): x = self.proj(x) # 输出形状: (B, D, H/p, W/p) x = x.flatten(2).transpose(1, 2) # 转换为(B, num_patches, D) return x ```
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Amigo_5610

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值