DETR论文笔记

DETR源码学习(三)之损失函数与后处理 在DETR模型中,在完成DETR模型的构建后,我们送入数据在完成前向传播后就需要使用预测值与真实值进行计算损失来进行反向传播进而更新梯度。 在DETR模型中,其标签匹配采用的是匈牙利匹配算法。 主要涉及models/matcher.py、models/detr.py和engine.py三个文件。首先在detr.py中会先定义好损失函数: 然后在engine.py的train_one_epoch中前向推理结束后将输出结果与真实标签作为参数并调用criterion函数,计算损失: outputs的值 pred_ 阅读详情

DETR论文笔记

论文地址:https://arxiv.org/pdf/2005.12872v3.pdf
源码地址:https://github.com/facebookresearch/detr

论文讲解视频


DETR 是2020年ECCV 会议上的论文,也是至今2020年ECCV论文中被引用最多的一篇论文

2020年ECCV论文被引用第二多的是NeRF

DETR开启了一种新的目标检测范式
DETR的方法简化了检测流水线,消除了很多手工设计的组件
如:

  1. 非极大值抑制(NMS)
  2. Anchor的生成程序
  3. 少了这两个部分,可以少很多的超参数和计算,如Faster R-CNN中:
    1. 区分前景背景的两个IoU阈值超参数
    2. rpn,roi两次sample的样本数量超参数
    3. anchor的宽高比定义
    4. rpn,roi两次NMS的计算

DETR使用了Transformer的编码解码结构,使用了二部图匹配生成唯一预测

给定一组对象查询,DETR对对象和全局图像上下文之间的关系进行推理,并行输出最终的预测集。

目标检测的目标是预测每一个感兴趣的目标的边界框以及类别

现代检测器通过一种间接的方式来解决这个集合预测任务,通过在大量的提议框上定义代理回归和分类问题
如:Faster R-CNN, cascade R-CNN
或者使用Anchor的方式 Focal-Loss的网络,如RetinaNet
或者是window centers,如FCOS

它们的性能受到如何去除相近的交叠的重复预测的后处理步骤、锚点集的设计和将目标盒分配给Anchor的启发式方法的显著影响

这里提到了一个论文(Bridging the gap between anchor-based and anchor-free detection via adaptive training sample selection)
这篇论文中对比了不同anchor使用方式的性能对比

为了简化这些管道,DETR提出了一种直接集预测方法来绕过代理任务
我们通过将目标检测视为一个直接集的预测问题来简化训练管道。我们采用了一种基于变压器的编解码器结构,这是一种流行的序列预测结构

变压器的自我注意机制,明确地模拟了序列中元素之间的所有成对交互作用,使得这些架构特别适合于集合预测的特定约束,如删除重复的预测
更准确地说,DETR在大型对象上显示出了显著更好的性能,这一结果很可能是由变压器的非本地计算所实现的
但是它在小目标上的性能较低

我们的检测转换器一次预测所有对象,并使用一个集合损失函数端到端训练,该函数在预测对象和地面真实对象之间执行二部匹配


集合预测

集合预测任务的第一个困难是避免相近的重复
当前的很多的目标检测框架是使用了如非极大值抑制这种方式进行后处理

但是在直接的,集合预测框架中,不应该使用后处理

它们需要全局推理方案来建模所有预测元素之间的交互,以避免冗余。

对于恒定大小集预测,密集全连接网络是足够的,但代价高昂。一般的方法是使用自回归序列模型,如递归神经网络

通常的解决方案是基于匈牙利算法设计一个损失,以找到地面真实和预测之间的二分图匹配
这加强了排列不变性,并保证每个目标元素都有一个唯一的匹配


DETR model

直接集合预测的两个必备的组件:

  1. 一个预测Loss,它强制在预测和地面真值框之间进行唯一匹配
  2. 一个结构可以预测一组目标

目标检测集合预测Loss

DETR的解码器一次推断出一组固定大小的N个预测,其中N被设置为明显大于图像中的典型对象数量。
比如设置N为100,一张图片中不会有100个目标标注

训练的主要困难之一是对预测的物体(类别、位置、大小)进行评分。

我们的损失在预测对象和GT对象之间产生一个最优的二分图匹配,然后优化特定对象(边界框)损失

设gt的集合为:y
预测的集合为: y ^ = { y ^ i } i = 1 N \hat{y}=\left\{\hat{y}_i\right\}_{i=1}^N y^​={y^​i​}i=1N​

这里的N是设置成一定会大于一张图像中的gt数量的值

我们也认为y是一组大小为N的集合,其中填充了∅(没有对象)

为了找到这两个集合之间的二分图匹配,去寻找一个使得代价最低的一个排列:

σ ^ = arg ⁡ min ⁡ σ ∈ S N ∑ i N L match  ( y i , y ^ σ ( i ) ) \hat{\sigma}=\underset{\sigma \in \mathfrak{S}_N}{\arg \min } \sum_i^N \mathcal{L}_{\text {match }}\left(y_i, \hat{y}_{\sigma(i)}\right) σ^=σ∈SN​argmin​i∑N​Lmatch ​(yi​,y^​σ(i)​)

L match  ( y i , y ^ σ ( i ) ) \mathcal{L}_{\text {match }}\left(y_i, \hat{y}_{\sigma(i)}\right) Lmatch ​(yi​,y^​σ(i)​) 是预测和GT之间的匹配的代价
σ ∈ S N \sigma \in \mathbb{S}_N σ∈SN​ 是全排列中的一个排列

使用匈牙利算法可以有效地计算出该最优解

匹配代价考虑了类别预测以及预测和GT之间的相似性

gt的表示为: y i = ( c i , b i ) y_i=\left(c_i, b_i\right) yi​=(ci​,bi​) , 其中c表示类别,b是一个四个值的向量,包括了gt的中心坐标和框体的高度和宽度

二分图匹配做的事情,与Faster R-CNN中根据iou的大小将GT与提议框进行分配的作用是类似的
主要的区别是,DETR这种方式是找到一对一匹配的直接集预测没有重复

使用匈牙利算法进行二分图匹配的Loss定义为:

L Hungarian  ( y , y ^ ) = ∑ i = 1 N [ − log ⁡ p ^ σ ^ ( i ) ( c i ) + 1 { c i ≠ ∅ } L box  ( b i , b ^ σ ^ ( i ) ) ] \mathcal{L}_{\text {Hungarian }}(y, \hat{y})=\sum_{i=1}^N\left[-\log \hat{p}_{\hat{\sigma}(i)}\left(c_i\right)+\mathbb{1}_{\left\{c_i \neq \varnothing\right\}} \mathcal{L}_{\text {box }}\left(b_i, \hat{b}_{\hat{\sigma}}(i)\right)\right] LHungarian ​(y,y^​)=i=1∑N​[−logp^​σ^(i)​(ci​)+1{ci​​=∅}​Lbox ​(bi​,b^σ^​(i))]
其中对于 no object的对象,他的权重系数式0.1
这类似于Faster R-CNN训练过程如何通过子抽样来平衡正/负的提议框

bounding box Loss

上面公式中第二个部分包围盒相关的Loss

在之前的目标检测方案中,bounding box的来源,会有一些初始值,如在Faster R-CNN中,会在不同大小的特征图上生成非常多的anchor,后续网络的输出其实是这些anchor的修正

但是DETR与他们截然不同,它是直接预测出box的值

虽然这种方法简化了实现,但它提出了一个关于损失的相对缩放的问题

对于这个问题的处理方式是结合两种不同的Loss,同时计算L1 loss 和GIOU loss

GIOU Loss 是尺度不变的

因此Box相关的Loss定义为:

λ iou  L iou  ( b i , b ^ σ ( i ) ) + λ L 1 ∥ b i − b ^ σ ( i ) ∥ 1 \lambda_{\text {iou }} \mathcal{L}_{\text {iou }}\left(b_i, \hat{b}_{\sigma(i)}\right)+\lambda_{\mathrm{L} 1}\left\|b_i-\hat{b}_{\sigma(i)}\right\|_1 λiou ​Liou ​(bi​,b^σ(i)​)+λL1​∥∥∥​bi​−b^σ(i)​∥∥∥​1​

这两个损失按批处理内对象的数量进行标准化

DETR的架构

请添加图片描述
请添加图片描述
请添加图片描述
DETR的结构有三个大部分

  1. 一个 CNN backbone 用于抽取图像的特征表示
  2. 一个使用了transformer的编码器解码器
  3. 一个FFN,前馈神经网络 给出最后的类别和Box信息的预测

DETR的代码实现很简单,基本可以认为随便找一个Backbone的实现,加上一个Transformer的实现就可以了

transformer encoder

在Backbone处理中,最后得到的通道数量是2048,特征图的大小是32倍下采样

在进入transformer之前,一个1x1的卷积先将2048的特征维度降为,降维后的特征维度用d表示

因此在backbone之后,在进入transformer之前的特征图为: z 0 ∈ R d × H × W z_0 \in \mathbb{R}^{d \times H \times W} z0​∈Rd×H×W

在传入给encoder时将特征图拉成一个维度:得到的输入的长度为:d x HW

每个encoder由多头的自注意力模块和一个FFN前馈神经网络模块构成

由于变压器架构是排列不变的,我们用固定的位置编码来补充它
这个位置编码会给到每个encoder的输入中

transformer decoder

与原始变压器的不同之处在于,我们的模型在每个解码器层并行解码N个对象
在原始的Attention is all you need中transformer是使用一个自回归模型,每次预测一个元素的输出序列

由于解码器也是排列不变的,N个输入嵌入必须不同才能产生不同的结果。

这些输入嵌入是可学习的位置编码,我们将其称为对象查询,与编码器类似,我们将它们添加到每个注意层的输入中

N个对象查询被解码器转换为一个输出嵌入

然后,通过前馈网络将它们独立解码为box坐标和类别标签,最终得到N个最终预测

在这些嵌入上使用self-attetion,该模型使用它们之间的成对关系对所有对象进行全局推理,同时能够使用整个图像作为上下文

FFN

最终的预测是由一个具有ReLU激活函数和隐藏维数d的3层感知器和一个线性投影层计算的

FFN预测box的标准化中心坐标、高度和宽度,线性层使用softmax函数预测类标签

由于我们预测一个固定大小的N个边界框集,其中N通常比图像中感兴趣的对象数量大得多,因此使用一个额外的特殊类标签∅来表示槽内没有检测到任何对象

这个类在标准的对象检测方法中扮演着与“背景”类类似的角色

在解码器上使用 辅助loss 很有帮助,会帮助其得到正确的目标类别

在每一个decoder层后都使用了 prediction FFNs 和 匈牙利匹配Loss

实验

作者进行目标检测和全景分割实验,使用了COCO 2017数据集

在训练集的图片中一张图片平均有7个实例,最多有63个实例

使用了两个backone 一个是resnet-50, 一个是resnet-101

我们还通过在backbone的最后一个阶段添加一个扩展,并从该阶段的第一个卷积中删除一个步幅来提高特征分辨率

相应的模型分别被称为DETR-DC5和DETR-DC5-R101(扩张型C5阶段)

这种修改将分辨率提高了2倍,从而提高了小对象的性能,但代价是编码器的自我注意成本增加了16倍,导致计算成本总体增加了2倍

短边最小长度480,最长长度800,长边最长长度1333

为了通过编码器的自我注意来帮助学习全局关系,我们还在训练过程中应用了随机crop增强技术,提高了大约1个AP的性能。

一个训练图片以0.5的概率进行随机裁剪,裁剪一个随机的矩形,然后resize到800-1333

训练的Epoch为300,使用了16块V100,一张GPU4个图片,bs就是64,花费了3天的时间

Comparsion with Faster R-CNN

DETR使用了Adam, dropout

Faster R-CNN是使用了SGD和最小型的数据增强

Adam,dropout 会导致结果变好

因此在跟Faster R-CNN对比的时候,给Faster R-CNN也加了 GIoU,也使用了随机裁剪,以及更长的训练过程

在table中 3x是detectron2中的结果
带有+号结尾的是,是9x(109 epochs),以及使用了上述描述的增强方法,一共增加了1-2AP

请添加图片描述
这里的DETR,有 6个transformer,6个decoder, 宽度是256,8个注意力头

与使用FPN的快速R-CNN一样,该模型有41.3M的参数,其中23.5M在ResNet-50中,17.8M在变压器中

在执行推理的时候,有的slots会预测出empty class 也就是no object,为了提高成绩,将那些预测为no object的slots 使用其预测的第二高的分数的类别代替no object,并且也用对应的分数替换分数。这种方式会比将那些空slot直接过滤掉,会提高2个ap

对照实验

Number of encoder layers

我们假设,通过使用全局场景推理,编码器对于分解开对象是重要的

请添加图片描述
编码器似乎已经分离了实例,这可能简化了解码器的对象提取和定位

请添加图片描述

Number of decoder layers

在每个解码器层都使用了辅助loss,FFN被训练预测每个docoder层的输出

AP和AP50在每一层后都有所改善,在第一层和最后一层之间总共达到了非常显著的+8.2/9.5 AP的改善。DETR具有基于集的损失,不需要设计NMS

请添加图片描述
上图的意思就是说,在每个层后都加了辅助Loss后,不使用nms,也可以跟使用了nms达到相同的指标

这可以解释为这样一个事实,即转换器的单个解码层不能计算输出元素之间的任何相互关联,因此它容易对同一对象进行多个预测,因此nms会有帮助,帮助移除了多个预测

我们观察到,NMS带来的改善随着深度的增加而减少
在最后一层,我们观察到AP的一个小损失,因为NMS错误地消除了真正的积极预测

我们观察到解码器的注意是相当局部的,这意味着它主要关注物体的四肢,如头部或腿
我们假设,在编码器通过全局注意分离实例后,解码器只需要注意末端就可以提取类和对象边界

请添加图片描述

FFN 的重要性

这个FFN是指的transformer中的FFN,在网络之后输出类别和Box信息的FFN是必不可少的,因此并不是讨论那一个FFN

在transformer中的FFN 可以看作是1x1的卷积层,这样使得encoder 类似于 注意力聚合卷积网络(attention augmented convolutional,来至于一篇论文)
当尝试将FFN从transformer中移除,只保留attention结构。网络的参数量从41.3M下降到28.7M,并且在Transformer中只有10.8M
但是性能下降了2.3AP,因此可以认为transformer中的FFN至关重要

位置编码的重要性

在模型中有两种类型的位置编码:

  1. 空间位置编码
  2. 模型输出的位置编码

论文中进行了关于固定位置编码和可学习的位置编码两种实验

请添加图片描述
sine at input 指只将位置编码输入到第一层encoder,同理decoder也是
sine at attn 指将位置编码输入到每一层encoder,同理decoder也是

输出位置编码是必需的,不能删除,所以我们实验在decoder 输入传递一次,或者在每个decoder层添加

如果完全移除空间位置编码,那么会下降7.8AP

令人惊讶的是,我们发现在编码器中不传递任何空间编码只会导致AP小幅下降,下降1.3 AP

因此认为这些组件都对最后的检测有很大的贡献:

  1. 全局的自注意力的encoder
  2. transformer中的FFN
  3. decoder层使用的辅助loss
  4. 位置编码
Loss的消融实验

DETR一共使用了三个loss:

  1. 分类 loss
  2. bbox的L1oss
  3. GIoU loss

分类loss一定是不可缺少的,因此可以做实验对比两外两个loss的作用请添加图片描述

分析

decoder 输出插槽的分析

在这里插入图片描述
选取100个slot中的20个进行分析

每一个点表示预测框体的中心点相对于图像的相对坐标(图像的尺寸被归一化成1x1)

绿色点表示小目标,红色表示水平形状(长方形)的框体,蓝色表示垂直类型的

每个slot都有偏好的图像区域以及目标的大小和形状

实例的泛化性

COCO中的一些类不能用同一图像中同一类的许多实例很好地表示

例如,在训练集中没有超过13只长颈鹿的图像

合成了一张有24个长颈鹿的图像并且可以很好的预测
这个实验证实了在每个对象查询中都没有很强的类专门化

没有见过一次性超过13只长颈鹿,但是可以预测出24只长颈鹿

在这里插入图片描述

官方代码Demo

请添加图片描述

目标检测论文阅读:DETR算法笔记 我们提出了一种新的方法,将目标检测视为一个直接的集合预测问题。我们的方法简化了检测pipeline,有效地消除了许多手工设计的组件,如非极大值抑制过程或锚框生成,这些组件显式地编码了我们关于任务的先验知识。新框架,称为DEtection TRansformer或DETR,其主要成分是一个基于集合的全局损失,它通过二分图匹配强制进行唯一预测,以及一个transformer编码器-解码器结构。给定一个固定的学习到的目标query小型集合,DETR推理目标和全局图像上下文的关系,并行地直接输出最终的预测集合。 阅读详情

相关推荐

10 DETR 论文精读【论文精读】End-to-End Object Detection with Transformers

把这个目标检测这个任务直接看成是一个集合预测的问题那接下来。我们就来先读一下这个摘要部分,那在摘要里作者一上来就把这篇文章干了什么事交代清楚,他们说我们这篇文章就是把这个目标检测这个任务直接看成是一个集合预测的问题。因为你本来的任务就是给定一个图片,然后你去预测一堆框,然后每个框不光要知道它的坐标,还要知道这个框里所包含的物体的类别。但是这些框其实就是一个集合,对于不同的图片来说,它里面包含的框也是不一样的,也就是说每个图片对应的那个集合也是不一样的。

云淡风轻_的博客 6565

【Transformer】detr之loss逐行梳理(四)

detr之loss逐行梳理匹配,预测框和gt框进行匹配计算损失""""""self.num_classes = num_classes # 数据集类别数self.matcher = matcher # HungarianMatcher() 匈牙利算法 二分图匹配self.weight_dict = weight_dict # dict: 18 3x6 6个decoder的损失权重 6*(loss_ce+loss_giou+loss_bbox)

胡侃有料的博客 2774

[论文笔记] DETR 论文笔记

Detr使用transformer来进行目标检测

qq_44690067的博客 576

通过公式和源码解析 DETR 中的损失函数 & 匈牙利算法(二分图匹配)

DETR在单次通过解码器时推断一个固定大小的有N个预测的集合,其中N被设置为显著大于图像中典型的物体数量。所有真实框中的每一个框和所有预测框进行匹配,损失值最小的预测框为该真实框的最佳匹配框,当所有真实框遍历完毕后,得到所有唯一匹配的框。完成最优分配,假设有六位老师和六种课程,通过匈牙利算法进行匹配后,每一位老师都会分到不同的一个课程。匹配成功之后,对预测框的分数、类别、中心点坐标和宽高进行损失值的计算。之间的匹配成本并不依赖于预测,这意味着在这种情况下,成本是一个常数。表示有N个预测的集合。...

Flying Bulldog 的博客 1万+

CANoe信号传输故障排查指南

本文提供了全面的CANoe信号传输故障排查指南,涵盖从硬件连接、通道配置到软件脚本与数据库加载的全链路诊断。针对常见的通道指示灯不亮、信号无法发送及ECU握手失败等问题,给出了基于CANoe工具和CAPL脚本的详细排查步骤与解决方案,帮助工程师系统化定位并解决实车测试中的通信故障。

ice55的博客 260

RK3566基于Buildroot定制QT开发环境的完整指南

本文详细介绍了如何在RK3566开发板上使用Buildroot定制QT开发环境的完整流程。从基础环境搭建、Buildroot初始配置到QT模块选择与编译验证,提供了实战经验和常见问题解决方案,帮助开发者高效完成嵌入式Linux下的QT开发环境部署。

weixin_26804345的博客 361

RT-DETR论文笔记

因此,rt-detr 在 loss 里面加入了 vfl loss,希望经过这样的训练,类别概率高的 query,iou 也能比较高。由 C 到 D,性能提升的同时,小幅度减少了延迟,这说明不同 scale 的 feature 间的交互是必要的,但是不需要采用 multi scale encoder 的方式交互。这部分描述的是选择 query 的方式,这里在论文里的描述有点绕,但是结合代码和别人的博客,我认为这里的实现实际上采用的是在 loss 中加入一个 vfl loss 的方式。

yumiwawa19960506的博客 2603

保姆级教程:在RK3576上配置USB网卡从零到外网访问(附udev规则详解)

本文提供了在RK3576开发板上配置USB网卡的完整教程,涵盖从内核驱动、udev规则到网络路由的全流程。重点讲解了如何利用USB Gadget功能实现高速网络连接,并构建稳定的算力集群,确保多设备间通信及外网访问。

grass的博客 461

百度飞桨顶会论文复现营DETR解读笔记

百度飞桨顶会论文复现营DETR解读笔记 目标检测两个关键子任务:目标分类和目标定位。 DETR模型是将目标检测视为集合预测(set prediction)的方式,将训练和预测做到真正的端对端,不需要NMS的后处理,也不需要人为设置anchor。核心是1.set-based的全局Loss,使用二分图匹配生成唯一的预测;2.基于encoder-decoder的transformer。 CNN代表图像特征编码的backbone,transformer后面的输出是最终预测的结果集合,transformer

SSyangguang的博客 3712

Python手记-9:Python LXML库XPath的爬取晋江书目

1. lxml库 lxml是功能最丰富且易于使用的库,用于处理Python语言中的XML和HTML,还可实现WEB爬取,官文参考:https://lxml.de/,完整的PDF文档下载链接https://lxml.de/lxmldoc-4.5.0.pdf,但是阅读起来……em……怪自己不够聪明的样子。 Linux下安装lxml库:[root@chengyu ~]# pip3 instal...

成屿的专栏 4万+

RK3568下GPIO模拟串口

在嵌入式开发中,硬件 UART 资源可能被其他外设占用。此时,通过 GPIO 模拟 UART(软串口)成为一种灵活的解决方案。本文基于 RK3568 平台,结合 Linux 内核模块,实现高精度软串口通信,并深入分析关键技术细节。可以看到已经接收到数据了,可以自己创建自定义的设备文件到/dev下,也可以按照串口设备的标准创建一个设备,后面有时间我写一篇和标准串口设备结合的gpio模拟串口文章。RK3568 GPIO 模拟串口(软串口)实现详解。将编译好的驱动放到板子上运行。再写个Makefile。

文石_2009的博客 366

Conditional DETR论文笔记

最近开发的DETR方法将变压器编码器和解码器架构应用于目标检测,取得了良好的性能。在本文中,我们解决了关键问题,训练收敛缓慢,并提出了一种条件交叉注意机制来实现快速DETR训练。我们的方法的动机是 DETR 中的交叉注意力高度依赖于内容嵌入来定位四肢并预测框,这增加了对高质量内容嵌入的需求,从而增加了训练难度。我们的方法名为条件 DETR,从解码器嵌入(decoder embedding)中学习条件空间查询(a conditional spatial query),用于解码器多头交叉注意力。

Zssss12的博客 2042

【毕设全程指导】基于YOLOv8的包装商品检测与可视化系统(SKU110K实战)

本文介绍了一个基于YOLOv8的包装商品检测与可视化系统毕业设计方案。项目采用SKU110K数据集,通过CSV转TXT格式转换适配YOLO模型训练,包含详细的环境搭建、模型配置和训练流程。系统实现了包装商品的自动化检测,并开发了Tkinter可视化界面进行交互式检测展示。该方案结合产业应用需求与技术深度,既具备实用价值,又能充分展示学生的技术能力,适合作为计算机视觉相关专业的毕业设计选题。整个项目从数据准备到界面开发完整覆盖,帮助学生系统掌握目标检测项目的完整实现流程。

LXY_LOVE36的博客 149

Deformable DETR 论文笔记

DEFORMABLE DETR: DEFORMABLE TRANSFORMERS FOR END-TO-END OBJECT DETECTION Deformable DETR ICLR2021 oral 论文链接: https://arxiv.org/abs/2010.04159 一、 Problem Statement DETR具有收敛速度慢,小目标检测性能差的缺点。 这是因为Transformer attention模块在处理图像特征图的时候的限制。目前很多都是使用多层特征图进行检测,但是高分辨率的

Tianchao龙虾 3310

【AI Agent】Harness Engineering实践

Harness(运行宿主)是围绕 LLM构建的一套确定性工程系统,其核心职责是:承认模型的固有局限,用可控的工程手段逐一弥补,使"强大但不可靠的推理引擎"变成"可信赖的生产级Agent"模型 是发动机——提供原始动力Agent 是驾驶员——做出决策Harness 是道路、地图、护栏、仪表盘、维修站和质检线——确保行驶安全有序没有Harness,模型越强,可能只是更快地制造混乱。

sysu_lluozh 197

本文将详细介绍如何在 Qt (C++) 应用程序中集成 osgEarth,加载三维数字地球,并在指定经纬度添加三维模型(如飞机、建筑等)。

OSG 与 Qt 的交互通常需要处理 OpenGL 上下文。osgEarth 3.x 提供了对 Qt 的较好支持,或者可以使用。在普通 OSG 程序中,你需要手动处理坐标系转换将经纬度转为笛卡尔坐标 (XYZ)。这是实现的关键,将 OSG 的渲染循环集成到 Qt 的事件循环中。第三方库,但在本教程中,我们将展示一种通过继承。,将 Qt 的输入事件转换为 OSG 理解的。事件,这是实现交互(旋转地球、缩放)的基础。来嵌入 OSG 视图的标准方法。在这里我们初始化地球并添加模型。节点简化了这一过程。

qq_45859163的博客 1046

DETR 论文笔记

End-to-End Object Detection with Transformers DETR 论文链接: https://arxiv.org/abs/2005.12872 一、 Problem Statement 目前的检测器需要许多hand-designed components,比如NMS,anchor generation或者window centers等。 二、 Direction DETR简化了detection pipeline,使用了CNN backbone,transform

Tianchao龙虾 1523

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

DN-DETR 论文笔记

DN-DETR 论文笔记

xunull的博客 1361

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

Deformable DETR论文笔记

Deformable DETR 提出了 deformable attention module 弥补了经典 attention 模块导致的训练收敛慢以及小物体上检测性能不佳的问题,并且在实验中证明了该模块达到了设计目的。缺陷是 inference 速度有所下降。

yumiwawa19960506的博客 1338

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

Group DETR论文阅读笔记

先大概分析了现阶段加速DETR训练的两条线:1)改进cross-attention部分,关注更有效的feature2)稳定二分图匹配这篇论文用到的方法是从第二条线出发,稳定二分图匹配,但是并不像DN那样去噪训练稳定匹配,而是通过引入更多的监督。

weixin_74326343的博客 1529

Anchor DETR论文笔记

在本文中,我们提出了一种新的基于变压器的目标检测查询设计。在之前的基于变压器的检测器中,对象查询是一组学习嵌入。然而,每个学习嵌入没有明确的物理意义,我们无法解释它将关注的地方。很难优化,因为每个对象查询的预测槽没有特定的模式。换句话说,每个对象查询不会关注特定区域。为了解决这些问题,在我们的查询设计中,对象查询基于锚点,这已经广泛用于基于 CNN 的检测器。因此,每个对象查询都关注锚点附近的对象。此外,我们的查询设计可以在一个位置预测多个对象以解决困难:“一个区域、多个对象。

Zssss12的博客 1655

论文笔记 DETR

2020论文facebook不需要proposal,不需要基于anchor的先验知识(比如预训练的模型),也不需要NMS进行筛选,直接端到端不需要后处理利用transformer的全局建模能力,看成集合预测问题,不会输出很多冗余的框,直接端到端,不需要NMS,简化了训练和部署NMS:非极大值抑制,抑制掉冗余的框anchor:滑动窗口,需要手动设计特征并判断提取,会产生大量候选框;

记一些学习笔记 851

《RT-DETR》论文笔记

YOLO系列因其速度和准确性之间的合理权衡而成为实时目标检测最流行的框架。然而,我们观察到 YOLO 的速度和准确性受到 NMS 的负面影响。最近,端到端基于变压器的检测器 (DETR) 提供了一种消除 NMS 的替代方案。然而,高计算成本限制了它们的实用性,阻碍了它们充分利用排除NMS的优势。在本文中,我们提出了实时检测转换器(RT-DETR),据我们所知,这是解决上述困境的第一个实时端到端对象检测器。我们分两步。

Zssss12的博客 4504

DETR 论文精读笔记

笔记:DETR论文提出了一种基于Transformer的端到端目标检测方法。其核心思想是将目标检测视为集合预测问题,直接并行输出N个预测结果。模型流程包括:CNN特征提取、降维投影、Transformer编码解码和预测头输出。

davidlhx的博客 1210
上一篇: Instant-NGP论文笔记
下一篇: MoCo v1 论文笔记
什度学习
博客等级 码龄12年 26粉丝 10原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值