视觉大模型--deter的深入理解

最新推荐文章于 2024-12-18 20:43:41 发布
最新推荐文章于 2024-12-18 20:43:41 发布
阅读量2.1k 收藏 17
点赞数 27
文章标签： transformer 人工智能 深度学习 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42398658/article/details/137335208
版权
本文详细解析了Transformer在目标检测领域的DetectionTransformer模型中，特别是解码器部分的query结构，包括contentquery和positionquery的作用，以及如何通过BipartiteMatching和匈牙利算法进行匹配和loss计算。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

但对于transformer用于目标检测领域的开创性模型，该模型言简意赅，但是但从论文理解，有很多细节都不清楚，尤其是解码器的query和二分图匹配(Bipartite Matching)和匈牙利算法(Hungarian Algorithm)相关，本文将根据代码详细介绍这一部分

原理

 大家最常见的就是上面两幅图，这也是deter模型的整体架构，原理大家可以参考网络其他问题，有很多，我这里就不细讲了， 但是我会突出讲解，整个过程到底是什么样。

解码器的query

 

  • Detection Transformer检测器是queries set(查询集合)到目标对象(object)的映射
  • queries分为内容查询query和一一对应位置查询query_pos,每组queries对应一个预测结果(类别和框的位置)
  • queries set的数量通常为100、300或900，远远少于之前密集预测(dense prediction)的工作
  • queries set与经过Backbone、Neck和Encoder提
最低0.47元/天 解锁文章
zsffuture
关注
YOLOv10改进 | 检测头篇 | 给YOLOv10换个RT-DETR的检测头（重塑目标检测前沿技术）
Snu77的博客
07-15 1565
本文给大家带来是用RT-DETR模型的检测头去替换YOLOv10中的检测头。RT-DETR号称是打败YOLO的检测模型，其作为一种基于Transformer的检测方法，相较于传统的基于卷积的检测方法，提供了更为全面和深入的特征理解，将RT-DETR检测头融入YOLOv10，我们可以结合YOLO的实时检测能力和RT-DETR的深度特征理解能力，打造出一个更加强大的目标检测模型。亲测这一整合不仅提高了模型在复杂场景下的表现，还显著提升了对小目标和遮挡目标的检测能力。此外，模型在多种标准数据集。
视觉大模型--DAB-deter的深入理解
进击的菜鸟
04-08 596
以上就是DAB的整体结构和思路，该模型给我的感觉在于，清晰的解释了pose_query的含义，同时对于位置的回归和融入进行了各种的转换，给我的感觉是，原来query可以这样用，而且使用wh对attention进行约束，他不是直接作用attention，而是通过输入的Q进行，而尺度的计算通过位置query和内容query对位置的回归进行规范化，然后作用embeding,最后和Q进行拼接形成最终的输入，这一套思路可以来上是神来之笔，很清晰，很明了，而且都是可学习的，这里后续就可以做很多操作了。
1 linux网络诊断命令工具_linux诊断网络故障命令(1)
2401_83974173的博客
04-27 737
12、DNS和NS查找工具14、Batfish15、Fiddler17、nload实时监控网络带宽CPU 方面内存IO 设备（磁盘、网络）网络工具mtr更多介绍 ： https://mp.weixin.qq.com/s/-lru6FAhkXTo7gLCCfWlyg。
DETR 史上最暴力目标检测算法 End-to-End Object Detection with Transformers
dl643053的博客
06-05 6592
近期拜读了facebook的最新力作DETR，不得不说被这极致的暴力美学惊艳到了，对于当下目标检测算法，不管是anchor free 还是anchor based，都存在一大诟病，该算法提出了一条解决思路 首先简要说明该算法的主体思路 之所以称之为暴力美学是因为，该算法几乎抛弃所有的先验规则约束，一句话，网络直接预测坐标，来，直接上图说话 结构相对的明了，但我们依然化繁为简，图片输入后经过常规backbone得到语义空间向量（feature map），之后直接利用该语义空间向量全局回归目标类别以及
c 语言矩阵求逆算法,矩阵的逆 C 语言 算法一
weixin_39934296的博客
05-25 556
#include #includevoidmain(){inti,j;intdimension;double deterValue=1;double **array,**deterArray, **companionMatrix, *temp;//声明函数void printfDouble2Dimension(int s, int n, double **array);double deter(i...
深度学习之目标检测（十一）--DETR详解
04-12 503
之前还有幸接触外国博主的一种理解，说 Transformer 的 Self-Attention 对于目标检测友好的观点，个人觉得非常好。他说：Backbone 输出的特征图经过1×11 \times 11×1 卷积后进行降维，得到的是d×H×Wd×H×W，被 reshape 成d×HWd×HW 作为 Transformer Block 的输入。在 Encoder 阶段，会计算HW×HW。
深入理解YOLO系列目标检测头的设定方式
最新发布
千天夜的博客
12-18 1145
版本检测头结构关键技术优势缺点YOLOv1全连接层（FC）无速度快，设计简单，适合实时检测精度低，定位不准确，小物体检测能力差YOLOv2多卷积层 + passthrough更好的精度，适应不同尺寸物体，改进了小物体检测计算复杂度增加，锚框选择依赖数据YOLOv3多卷积层 + 跨层特征融合多尺度预测，特征金字塔（FPN）多尺度检测，精度更高，尤其是小物体检测计算开销大，推理速度较慢通过YOLOv1到YOLOv3。
深度学习系列53：mmdetection上手
kittyzc的博客
11-19 1144
建议使用coco格式，参见https://cocodataset.org/#format-data。文件从头至尾按照顺序分为以下段落：下面是从instances_val2017.json文件中摘出的一个annotation的实例，这里的segmentation就是polygon格式：“id”: 1768},从instances_val2017.json文件中摘出的2个category实例如下所示：“id”: 1,},“id”: 2,},
基于transformer物体检测：DETR
weixin_43402104的博客
04-03 354
把物体检测的任务直接看成集合预测的任务，把目标检测做成端到端框架，不再需要先验知识（去掉anchor、NMS之类）具体的：提出一种目标函数，使用二分图匹配，让模型输出独一无二的预测；使用编解码结构；解码器加一个learned object queries。
【目标检测 DETR】通俗理解 End-to-End Object Detection with Transformers，值得一品。
零碎@流年絮语 的博客
03-08 4607
【目标检测 DETR】通俗理解 End-to-End Object Detection with Transformers，值得一品。
mmdetection的api/det-inferencer函数
05-11
批量推理mask
一文带你读懂DETR模型
wusar的博客
07-09 1万+
DETR目标检测模型简介
DETR（DEtection TRansformer）论文阅读笔记
热门推荐
dawnyi_yang的博客
04-12 1万+
摘要 Detection Transformer（DETR）是Facebook AI的研究者提出的Transformer的视觉版本，用于目标检测和全景分割。这是第一个将Transformer成功整合为检测pipeline中心构建块的目标检测框架。 论文地址：End-to-End Object Detection with Transformers 源代码：DETR 论文结构 第一部分主要介绍了为了解决以前的目标检测方法的性能受后处理的影响，文章提出了一种端到端的方法（DETR）在目标检测中进行尝试。 第二部
Lagent调用mmdetection api
qq_40831032的博客
01-26 524
1.1 使用安装和1.2 安装mmdet。
RsaCtftool安装及使用
qq_43390703的博客
09-09 6706
RsaCtftool的环境配置稍微有些复杂，如果依赖没有弄全可能老是出一些奇怪的问题，如果按照报错来安装的话，安装一个RsaCtftool让人掉一层皮。。各种报错，而且不是简单的安装包就可以完成的，摸索了很久终于解决了。现在在kali上成功安装。（Ubuntu适用）。 首先需要安装依赖库，如果不安装会出现很多错误，几乎不可能能一步步手动安装解决。不信可以先下一步直接进入安装。 #安装MPFR 解决GMPY2、SymPY时可能产生的报错 v=4.0.1 wget http://www.mpfr.org/mpf
目标检测 DETR（2020）详细解读
qq_51352130的博客
09-29 2201
DETR全称是Detection Transformer，是首个基于Transformer的端到端目标检测网络，最大的特点就是不需要预定义的先验anchor，也不需要NMS的后处理策略（少了这两部分可以少很多的超参数和计算），用集合的思想回归出100个query之后再用匈牙利算法二分图匹配的方式得到最终的正样本和负样本，第一个实现了端到端的目标检测。
【DETR系列目标检测算法代码精讲】01 DETR算法01 DETR算法框架和网络结构介绍
weixin_44184852的博客
03-30 1438
总所周知，传统的目标检测算法非常依赖于anchor和nms等手工设计操作，非常费时费力，自然而然的就产生了取消这些操作的想法。但是我们首先需要思考的是，为什么我们需要anchor和nms？因为我们是没有指定anchor去具体预测哪一个目标的，而且nms操作是建立在纯粹的边界框的距离上的，它完全没有利用到图像的信息，只是根据两个边界框的IoU去做判断，这样造成了两个问题。
10 DETR 论文精读【论文精读】End-to-End Object Detection with Transformers
云淡风轻_的博客
11-05 4727
把这个目标检测这个任务直接看成是一个集合预测的问题那接下来。我们就来先读一下这个摘要部分，那在摘要里作者一上来就把这篇文章干了什么事交代清楚，他们说我们这篇文章就是把这个目标检测这个任务直接看成是一个集合预测的问题。因为你本来的任务就是给定一个图片，然后你去预测一堆框，然后每个框不光要知道它的坐标，还要知道这个框里所包含的物体的类别。但是这些框其实就是一个集合，对于不同的图片来说，它里面包含的框也是不一样的，也就是说每个图片对应的那个集合也是不一样的。
defer和return由浅入深，讲解底层。
2303_79710813的博客
11-05 1754
做一个简单的区别这个return和defer的底层原理，这个是我从自己的语雀复制过来可能，没有做特别的格式对齐，我把网址附上，想要了解的都可以具体访问这个网址https://www.yuque.com/chenxiangyang-n12yg/pli7v5/mgq74fwc64eestot?singleDoc# 《2.defer和return》如果有什么错误的地方也希望大家提出。本文主要是针对的底层原理和基本应用，像return返回函数类型那些，就不再过多介绍。
INPE/CRA生产DETER-B数据自动化处理与API客户端实现
- **DETER-B同步数据**: 描述中提到的DETER-B很可能是指一个特定的数据集或数据库系统，可能与生态系统的监测或地理信息系统（GIS）相关。同步过程是自动化处理数据获取和转换，将这些数据导出为JSON和Shapefile格式...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值