目标检测-Transformer-ViT和DETR

已于 2024-02-23 17:53:29 修改
阅读量3.2k 收藏 29
点赞数 29
分类专栏： 目标检测 文章标签： 人工智能 深度学习 计算机视觉 目标检测 transformer
于 2024-02-23 17:52:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/long11350/article/details/136256762
版权

文章目录

前言

随着Transformer爆火以来，NLP领域迎来了大模型时代，成为AI目前最先进和火爆的领域，介于Transformer的先进性，基于Transformer架构的CV模型也开始涌现。本文介绍一下最先得到可靠应用的简单模型：ViT（Vision Transformer）、DETR（Detection Transformer）。

一、ViT

应用和结论

ViT是2020年Google团队提出的将Transformer应用在图像分类的模型，但是因为其模型“简单”且效果好，可扩展性强（scalable，模型越大效果越好），成为了Transformer在CV领域通用的backbone。

ViT原论文中最核心的结论是，当拥有足够多的数据进行预训练的时候，ViT的表现就会超过CNN，突破transformer缺少归纳偏置的限制，可以在下游任务中获得较好的迁移效果。但是当训练数据集不够大的时候，ViT的表现通常比同等大小的ResNets要差一些，这是因为Transformer和CNN相比缺少归纳偏置（inductive bias），即一种先验知识，提前做好的假设。

CNN具有两种归纳偏置：一种是局部性，即图片上相邻的区域具有相似的特征；一种是平移不变形，先卷积还是先平移结果都是一样

结构及创新点

ViT的结构:

    最低0.47元/天 解锁文章
    百度 RT-DETR 算法原理解析 | 超越YOLO的目标检测新高度？
    YOLOv8项目贡献者
    09-22 1万+
    详解百度RT-DETR
    Transformer, DETR, ViT, SwinIR
    yyyang_的博客
    11-08 1613
    Transformer实现的意义和RNN是一样的，将时序信息传递给输入进行计算，实现时序信息的传递。RNN中是前一时刻传递给后一时刻，Transformer中是通过attention在全局的序列中提取信息。
    目标检测算法-transformer系列-ViT（Vision Transformer）（附论文和源码）
    09-29 6318
    目标检测算法-transformer系列-ViT（Vision Transformer）（附论文和源码）
    ViT-FRCNN：面向基于Transformer的目标检测
    阿木寺的博客
    12-21 6283
    与DETR和可变形DETR范式不同，本文将ViT与RPN进行结合，即将CNN主干替换为transformer，组成为：ViT-FRCNN，作者称这可视为迈向复杂视觉任务（例如目标检测）纯transformer解决方案的重要基石。 注：文末附【Transformer】和【目标检测】学习交流群 Toward Transformer-Based Object Detection 作者单位：Pinterest 论文：Toward Transformer-Based Object Detection 背景 Tr
    ViT-YOLO：基于Transformer的用于目标检测的YOLO算法
    最新发布
    gzq0723的博客
    04-14 895
    另一方面，无人机拍摄图像中的物体尺寸差异很大，而卷积神经网络单层的特征图表示能力有限，因此有效地表示和处理多尺度特征至关重要。对于具有大规模和复杂场景的无人机拍摄图像，为了提高语义辨别能力并减轻类别混淆，从较大的邻域中收集和关联场景信息有助于学习物体之间的关系。引入了可学习的权重来学习不同输入特征的重要性，而不是简单地求和或拼接，因为简单的求和或拼接可能会导致特征不匹配和性能下降。的内存和计算量，我们认为，遵循上述因素的最简单设置是在主干网络中分辨率最低的特征图上融入自注意力机制，即。
    何恺明团队新作ViTDet：用于目标检测的视觉Transformer主干网络
    机器学习社区
    04-03 7618
    做目标检测就一定需要 FPN 吗？昨天，来自 Facebook AI Research 的 Yanghao Li、何恺明等研究者在 arXiv 上上传了一篇新论文，证明了将普通的、非分层的视觉 Transformer 作为主干网络进行目标检测的可行性。他们希望这项研究能够引起大家对普通主干检测器的关注。 研究概览 Exploring Plain Vision Transformer Backbones for Object Detection 论文链接：https://arxiv.org/abs/220
    VisionTransformer[VIT]，DETR
    To be a better man
    04-03 2717
    参考资料 Vision Transformer（ViT）PyTorch代码全解析（附图解）_Adenialzz的博客-优快云博客_vit-pytorch 神经网络学习小记录67——Pytorch版 Vision Transformer（VIT）模型的复现详解_Bubbliiiing的博客-优快云博客
    ECCV 2022 | 中科大&京东提出：数据高效的Transformer目标检测器
    阿木寺的博客
    07-25 647
    点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达作者：encounter1997 |已授权转载（源：知乎）编辑：CVerhttps://zhuanlan.zhihu.com/p/545435909大家好！本文介绍一下我们中稿今年ECCV的一项工作：Towards Data-Efficient Detection Transformers。论文链接：...
    深度学习之NLP学习笔记（五）—DETR与ViT
    Jeremy_lf的博客
    03-14 2058
    AN IMAGE IS WORTH 16X16 WORDS ：TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE End-to-End Object Detection with Transformers
    【深度学习】计算机视觉（CV）-目标检测-DETR（DEtection TRansformer）—— 基于 Transformer 的端到端目标检测
    IT古董
    02-16 2160
    DETR（DEtection TRansformer） 是 Facebook AI（FAIR）于 2020 年提出的 端到端目标检测算法，它基于 Transformer 架构，消除了 Faster R-CNN、YOLO 等方法中的 候选框（Anchor Boxes） 和 非极大值抑制（NMS） 机制，使目标检测变得更简单、高效。
    遥感影像目标检测：从CNN（Faster-RCNN）到Transformer（DETR）
    aishangyanxiu的博客
    08-12 1216
    深度卷积网络采用“端对端”的特征学习，通过多层处理机制揭示隐藏于数据中的非线性特征，能够从大量训练集中自动学习全局特征，是其在遥感影像自动目标识别取得成功的重要原因，也标志特征模型从手工特征向学习特征转变。另一方面，随着深度学习的不断发展，当前以Transformer等结构为基础模型的检测模型也发展迅速，在许多应用场景下甚至超过了原有的以CNN为主的检测模型。3.讲解目标检测模型的评估方案，包括正确率，精确率，召回率，mAP等。1.一份完整的Faster-RCNN 模型下实现遥感影像的目标检测。
    ViT：1 从DETR说起
    鲁班模锤
    05-25 1270
    卷积神经网络目前在不同的计算机视觉图像识别任务中处于领先地位，Vision Transformers (ViT) 最近成为卷积神经网络CNN的有力替代品。在计算效率和准确性方面，ViT 模型的表现几乎比目前最先进的CNN高出 4 倍。
    使用Transformer来做物体检测
    AI公园
    04-20 3325
    点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”因公众号更改了推送规则，记得读完点“在看”~下次AI公园的新文章就能及时出现在您的订阅列表中作者：Jacob Briones编译：...
    [模型学习与对比]DETR和ViT
    anormalcell的博客
    02-20 2837
    介绍DETR和ViT的原理，并做对比
    利用 Transformer 进行端到端的多目标检测及跟踪（附源代码）
    机器学习社区
    01-12 1685
    现存的用检测跟踪的方法采用简单的heuristics，如空间或外观相似性。这些方法，尽管其共性，但过于简单，不足以建模复杂的变化，如通过遮挡跟踪。01摘要多目标跟踪(MOT)任务的关键挑战是跟踪目标下的时间建模。现存的用检测跟踪的方法采用简单的heuristics，如空间或外观相似性。这些方法，尽管其共性，但过于简单，不足以建模复杂的变化，如通过遮挡跟踪。所以现有的方法缺乏从数据中学习时间变化的能力。在今天分享中，研究者提出了第一个完全端到端多目标跟踪框架MOTR。它学习了模拟目标的长距离时间变化。它隐式地
    【计算机视觉 | 目标检测】术语理解6：ViT 变种（ ViT-H、ViT-L & ViT-B）、bbox（边界框）、边界框的绘制（含源代码）
    热门推荐
    wzk4869的博客
    05-30 1万+
    【计算机视觉 | 目标检测】术语理解6：ViT 变种（ ViT-H、ViT-L & ViT-B）、bbox（边界框）、边界框的绘制（含源代码）
    计算机视觉算法——基于Transformer的目标检测（DETR / Deformable DETR / Dynamic DETR / DETR 3D）
    weixin_44580210的博客
    08-07 1万+
    DETR是DEtection TRansformer的缩写，该方法发表于2020年ECCV，原论文名为《End-to-End Object Detection with Transformers》。传统的目标检测是基于Proposal、Anchor或者None Anchor的方法，并且至少需要非极大值抑制来对网络输出的结果进行后处理，涉及到复杂的调参过程。而DETR使用了Transformer Encoder-Decoder的结构，并且通过集合预测损失实现了真正意义上的端到端的目标检测方法。...
    transformer目标检测
    weixin_38241876的博客
    11-12 1735
    import torch from torch import nn from torchvision.models import resnet50 class DETR(nn.Module): def __init__(self,num_classes,hidden_dim,nheads,num_encoder_layers,num_decoder_layers): super().__init__() self.backbone = nn.Sequential(.
    DETR：Transformer的目标检测（detection）- Demo
    Hugh_LAJ的博客
    05-24 1575
    Transformer是一个基于自注意力机制的深度学习模型，它的经典结构：encoder-decoder。前几年该模型在NLP领域有非常好的应用，最近查阅论文时发现Transformer**逐渐在CV方向发力，ViT (Vision Transformer)的提出更是添了一把火，今天就来简单了解一下DETR。
    评论
    添加红包

    请填写红包祝福语或标题

    个

    红包个数最小为10个

    元

    红包金额最低5元

    当前余额3.43元 前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包

    打赏作者

    学海一叶

    你的鼓励将是我创作的最大动力

    ¥1 ¥2 ¥4 ¥6 ¥10 ¥20
    扫码支付：¥1
    获取中
    扫码支付

    您的余额不足，请更换扫码支付或充值

    打赏作者

    实付元
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值