深度学习之NLP学习笔记（五）—DETR与ViT

最新推荐文章于 2025-04-17 15:10:09 发布
最新推荐文章于 2025-04-17 15:10:09 发布
阅读量2k 收藏 2
点赞数
分类专栏： NLP 文章标签： ViT DETR Transformer NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Jeremy_lf/article/details/114787335
版权

ViT

AN IMAGE IS WORTH 16X16 WORDS ：TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
Vision Transformer(ViT)将输入图片拆分成16x16个patches，每个patch做一次线性变换降维同时嵌入位置信息，然后送入Transformer，避免了像素级attention的运算。类似BERT[class]标记位的设置，ViT在Transformer输入序列前增加了一个额外可学习的[class]标记位，并且该位置的Transformer Encoder输出作为图像特征。

Self-attention 是quadratic级别的时间和内存复杂度。

我们使用简短的符号来表示模型大小和输入Patch大小：例如，ViT-L/16表示具有16×16输入补丁大小变量。值得注意，Transformer的序列长度与补丁尺寸的平方成反比，因此补丁尺寸较小的模型的计算成本更高。其中，HW为原图像分辨率，PP为每个图像patch的分辨率。N=HW/P*P为Transformer输入序列的长度。

DETR

End-to-End Object Detection with Transformers

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2025年 课程设计 机器学习&深度学习实战案例,含有python代码和教程 (4月10日已更新1179篇)
sybh的博客
10-05 8573
10月促销价99.9,适合初学python机器学习深度学习的学生,从入门到精通,专栏内含有讲解,每篇文章都含有对应的代码,会持续更新,更新至千篇案例,已经更新六百多个项。
极智AI | 详解 ViT 算法实现
极智视界
05-21 4731
大家好，我是极智视界，本文详细介绍一下 ViT 算法的设计与实现，包括代码。
目标检测-Transformer-ViT和DETR
君子之学必日新，日新者日进也。不日新者必日退，未有不进而不退者
02-23 3284
随着Transformer爆火以来，NLP领域迎来了大模型时代，成为AI目前最先进和火爆的领域，介于Transformer的先进性，基于Transformer架构的CV模型也开始涌现。本文介绍一下最先得到可靠应用的简单模型：ViT（Vision Transformer）、DETR（Detection Transformer）。在COCO数据集上的性能，DETR和一个训练好的Faster R-CNN baseline是差不多的，无论从内存、速度还是精度来说。
[模型学习与对比]DETR和ViT
anormalcell的博客
02-20 2837
介绍DETR和ViT的原理，并做对比
【深度学习】计算机视觉（17）——ViT理解与应用
最新发布
RK_Dangerous的博客
04-17 1249
在研究中对特征的编码和解码的原理有一些疑惑，由于我之前研究的一直是计算机视觉问题，所以仍然是以主流的图像+Transformer为例开展研究，进一步讨论如何进行特征处理。
VisionTransformer[VIT]，DETR
To be a better man
04-03 2717
参考资料 Vision Transformer（ViT）PyTorch代码全解析（附图解）_Adenialzz的博客-优快云博客_vit-pytorch 神经网络学习小记录67——Pytorch版 Vision Transformer（VIT）模型的复现详解_Bubbliiiing的博客-优快云博客
学习视觉CV Transformer （3）--ViT、DETR的原理及代码分析
weixin_42495721的博客
10-24 707
CV Transformer --ViT、DETR的原理及代码分析
ViT：1 从DETR说起
鲁班模锤
05-25 1270
卷积神经网络目前在不同的计算机视觉图像识别任务中处于领先地位，Vision Transformers (ViT) 最近成为卷积神经网络CNN的有力替代品。在计算效率和准确性方面，ViT 模型的表现几乎比目前最先进的CNN高出 4 倍。
【读论文】深度学习重要论文精读（图像领域）
Vehicle_jyw的博客
09-03 1068
通过对一系列论文的回顾与重读，即使泛泛而读，也深知近些年来视觉领域变化之快，而很多三四年前的工作，我至今才开始精度理解，属实惭愧；尝试在阅读过程中闭目思考，结合如今的认知，很多东西的发展也并非一蹴而就，都是普通人有迹可循的，但如何讲好故事，做好实验，让别人理解，其中有大学问；泛读了行业内近些年的主流论文，下面会结合具体的任务或者更进一步的方向做进一步探索，希望能渐渐赶上发展的方向，做到胸中自有丘壑；
DETR详解
Lc_001的博客
03-09 7827
DETR 将目标检测任务看作集合预测问题，对于一张图片，固定预测一定数量的物体（原作是100个，在代码中可更改），模型根据这些物体对象与图片中全局上下文的关系直接并行输出预测集，也就是 Transformer 一次性解码出图片中所有物体的预测结果，这种并行特性使得 DETR 非常高效。
论文学习笔记 SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers
985小菜鸡
07-25 1041
这篇论文提出了SegFormer，一种简洁、高效且功能强大的语义分割框架，该框架将Transformer与轻量级的多层感知机（MLP）解码器结合在一起。新颖的分层Transformer编码器：这种编码器输出多尺度特征，不需要位置编码，避免了在测试分辨率与训练分辨率不同情况下因位置编码插值导致的性能下降问题。避免复杂解码器：提出的MLP解码器聚合了来自不同层次的信息，结合了局部和全局注意力，从而生成了强大的特征表示。简单轻量的设计是Transformer高效分割的关键。
VIT、Swim-trans、DETR最全流程讲解
weixin_43702653的博客
07-30 1345
VIT、Swim-trans、DETR最全流程讲解
课程十学习笔记: 目标检测DETR-1
Wangzx的博客
12-08 228
课程十学习笔记: 目标检测DETR-1目标检测： 目标检测： Anchor Based Detection : Faster R-CNN, SSD, YOLO Anchor Free Detection : FCOS, RepPoints, 模型
乱七八糟的笔记：Transformer/ViT/Swin transformer/DETR
m0_48610901的博客
03-18 1312
看B站沐神的课的即时笔记，乱但需要留一份。
transformer、vit-transformer、swin-transformer以及DETR的概念与区别
Joining667的博客
08-05 1211
Transformer、ViT (Vision Transformer) 、Swin Transformer 和DETR是深度学习领域中的不同架构，它们在自然语言处理（NLP）和计算机视觉（CV）任务中都有应用。
Transformer、VIT、SWin-TR、DETR的网络结构和改进思路
qq_53061668的博客
12-16 791
具体来讲，ViT算法中，会将整幅图像拆分成小图像块，然后把这些小图像块的线性嵌入序列作为Transformer的输入送入网络，然后使用监督学习的方式进行图像分类的训练。由于Transformer本质上是一个序列转换的作用，因此，可以将DETR视为一个从图像序列到一个集合序列的转换过程。相比于ViT网络架构，Swin Transformer考虑了多尺度下的图像，可以看到如下图所示：其通过不断的下采样，在多个图像的尺度维度进行检测，这样的话直观上可以很好的解决我们先前说的视觉实体的规模尺度的大小不同的问题。
DETR[sub-branch for Vit]
To be a better man
04-04 1386
End to End Object Detection with Transformers Because of DETR,Transformer is getting hot again. people think transformer is just a backbone,backbone is not directly suitable for Downstream tasks. Vit like Bert ,just have the encoder part of the tran.
ViT( Vision Transformer) 多头自注意力机制 计算机视觉领域应用Transformer架构的模型 首次将NLP领域中广泛使用的Transformer模型引入到了CV领域
万有文的博客
05-10 2483
在计算机视觉领域中，多数算法都是保持CNN整体结构不变，在CNN中增加attention模块或者使用attention模块替换CNN中的某些部分。有研究者提出，没有必要总是依赖于CNN。因此，作者提出ViT[1]算法，仅仅使用Transformer结构也能够在图像分类任务中表现很好。受到NLP领域中Transformer成功应用的启发，ViT算法中尝试将标准的Transformer结构直接应用于图像，并对整个图像分类流程进行最少的修改。
图像生成发展起源：从VAE、扩散模型DDPM、DDIM到DETR、ViT、Swin transformer
热门推荐
结构之法 算法之道
04-30 3万+
2018年我写过一篇博客，叫：《》，该文相当于梳理了2019年之前CV领域的典型视觉模型，比如随着2019 CenterNet的发布，特别是2020发布的DETR(End-to-End Object Detection with Transformers)之后，自此CV迎来了生成式下的多模态时代但看这些模型接二连三的横空出世，都不用说最后爆火的GPT4，便可知不少CV同学被卷的不行。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Jeremy_lf

你的鼓励是我的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值