DINO 论文笔记

最新推荐文章于 2025-07-20 15:57:26 发布
最新推荐文章于 2025-07-20 15:57:26 发布
阅读量2.2k 收藏 8
点赞数
CC 4.0 BY-SA版权
分类专栏： DETR系列论文 文章标签： 论文阅读 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zero2255/article/details/129544480
DINO是一种改进的DETR模型，通过对比去噪训练、混合查询选择和两次向前看的框预测方案，提高了训练效率和检测性能。在COCO数据集上，DINO达到了显著的AP提升，并且其设计能够与经典检测器竞争。DINO还探索了类DETR模型在大规模预训练和大模型主干上的潜力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

DINO: DETR with Improved DeNoising Anchor Boxes for End-to-End Object Detection

DINO通过使用对比方法，混合查询选择方法的anchor初始化的和盒子预测的look forward twice方案在性能和效率方面有了改进

DINO使用ResNet-50 backbone以及多尺度特征，在COCO上，12个epoch达到49.4AP，24个epoch达到51.3AP 与之前最好的DN-DETR模型相比，分别显著提高了+6.0AP和+2.7AP

请添加图片描述
DAB和DN的结合使得类detr的模型在训练效率和推理性能方面都能与经典检测器竞争

以往的类detr模型不如改进的经典检测器。
大多数经典的探测器都得到了很好的研究与高度优化，与新开发的类似深度的模型相比，具有更好的性能。
例如，目前表现最好的detr类模型仍然在COCO的50 AP以下

类detr模型的可伸缩性尚未得到很好的研究。没有关于类detr模型在扩展到大型主干和大规模数据集时的表现的报告结果

DINO主要三条线的改进：

  1. denoising training 去噪训练
  2. query initialization 查询的初始化
  3. box prediction 框体的预测

DINO是基于三种模型：

  1. DN-DETR
  2. DAB-DETR
  3. Deformable DETR

融合了：

  1. DAB-DETR的动态anchor
  2. DN-DETR的去噪，帮助稳定二部图匹配
  3. Deformable DETR的变形Attention为了更好的计算效率

提出了三个新的方法：

  1. 首先，为了改进一对一的匹配效果，提出了一种对比去噪训练方法，通过同时添加同一个GT的正、负样本来进行对比去噪训练。在同一个GT中加入两个不同的噪声后，将具有较小噪声的框标记为正，另一个标记为负。对比去噪训练可以帮助模型避免同一目标的重复输出
  2. 其次，使用了一种类似两阶段的模型（Deformable DETR的two stage）。提出了一种混合查询选择方法，这有助于更好地初始化查询. 从encoder的输出中选择初始锚定框作为位置查询，类似于Deformable DETR.然而，让内容查询像以前一样可以学习，从而鼓励第一个解码器层关注空间先验(空间位置先验与当前的图像更加的相关)
  3. 第三，为了利用后期层的refined box信息来帮助优化相邻早期层的参数，提出了一种新的look forward twice方案，用后面的层的梯度来修正更新后的参数

Large-scale Pre-training for Object Detection

大规模的预训练对自然语言处理和计算机视觉都有重大影响。
目前，最好的性能检测器大多是通过在大规模数据上预先训练的大型骨干来实现的

Swin V2: 30亿的参数量，7千万的私有数据
Florence: 9亿私有数据

DINO: 使用公开的SwinL模型，公开的 Object365 170万的数据集

DINO

Preliminaries

正如在条件DETR 和DAB-DETR 中所研究的那样，很明显，DETR中的查询由两部分组成：位置部分和内容部分，这在本文中被称为位置查询和内容查询

DAB-DETR明确地将DETR中的每个位置查询定义为一个4D anchor box（x、y、w、h），其中x和y是框的中心坐标，w和h对应于它的宽度和高度。这种显式的anchor box公式使得在解码器中一层一层地动态细化anchor box变得容易

DN-DETR 引入了一种去噪（DN）训练方法来加速类detr模型的训练收敛性
结果表明，二部匹配中的慢收敛问题是由二部匹配的不稳定性引起的。
为了缓解这一问题，DN-DETR提出将噪声的地面真实（GT）标签和盒子输入transformer解码器，并训练模型重建GT

由于DN-DETR遵循DAB-DETR将解码器查询视为锚，一个有噪声的GT盒可以看作是一个特殊的anchor，附近有一个GT盒，因为λ通常很小

Deformable DETR 是加速DETR收敛的早期工作。
为了计算可变形注意，它引入了参考点的概念，使可变形注意可以关注一个参考点周围的一小组关键采样点

query selection 就是Deformable DETR的two-stage
look forward once 就是Deformable DETR的iterative bounding box refinement

Model Overview

请添加图片描述
在编码器层进行特征增强后，提出了一种新的混合查询选择策略，将锚点初始化为解码器的位置查询
请注意，此策略不会初始化内容查询，而是使它们保持可学习性

通过初始化的锚点和可学习的内容查询，使用可变形的注意来结合编码器输出的特征，并逐层更新查询
最终的输出由refined anchor box和由细化的内容特征预测的分类结果来形成

Contrastive DeNoising Training

DN-DETR在稳定训练和加速收敛方面非常有效

在DN查询的帮助下，通过基于附近有GT盒的anchor学习预测。
然而，它缺乏当一个anchor附近没有物体时预测出 ’no object‘的能力

为了解决这个问题，提出了一种对比去噪（CDN）方法来拒绝无用的anchor

DN-DETR有一个超参数的λ来控制噪声尺度
生成的噪声不大于λ，因为DN-DETR希望模型从中度噪声的查询中重建GT

在DINO的方法中，有两个超参数λ1和λ2，其中λ1 < λ2
有两种查询，正面的查询，负面的查询

最里面的方框内的正查询具有小于λ1的噪声尺度，期望重构其对应的GT

内部和外部方块之间的负查询的噪声尺度大于λ1，小于λ2
他们被期望预测“no object”

通常采用较小的λ2，因为靠近GT盒的困难负样本更有助于提高性能

请添加图片描述
每个CDN组都有一组正查询和负查询
如果一个图像有n个GT框，一个CDN组将有 2×n 个查询，每个GT框产生一个正查询和一个负查询
将负样本分类为背景的损失也是focal loss

方法能够工作的原因是它可以抑制混淆，并选择高质量的anchors（查询）来预测边界框
当多个anchors靠近一个对象时，就会发生混淆
在这种情况下，模型很难决定选择哪个锚点

这种混淆可能会导致两个问题。
第一个是重复的预测。虽然detr类的模型可以通过基于集合的损失和自我注意的帮助来抑制重复的盒子，但这种能力是有限的

使用CDN查询，可以区分anchors之间的细微差别，并避免重复的预测

第二个问题是，一个远离GT并且不应该被选择的某个anchor可能会被选择上

虽然去噪训练改进了模型来选择附近的anchor，但CDN通过让模型拒绝更远的anchor，进一步提高了这种能力

为了证明CDN的有效性，定义了一个称为平均Top-K距离（ATD (k)）的度量，并使用它来评估anchor在匹配部分中与目标GT盒的距离

在DETR中，每个锚点对应于一个可能与GT或背景相匹配的预测。
只考虑那些与GT box匹配的

ATD(k)=1k∑{top⁡K({∥b0−a0∥1,∥b1−a1∥1,…,∥bN−1−aN−1∥1},k)} A T D(k)=\frac{1}{k} \sum\left\{\operatorname{top} K\left(\left\{\left\|b_0-a_0\right\|_1,\left\|b_1-a_1\right\|_1, \ldots,\left\|b_{N-1}-a_{N-1}\right\|_1\right\}, k\right)\right\} ATD(k)=k1​∑{topK({∥b0​−a0​∥1​,∥b1​−a1​∥1​,…,∥bN−1​−aN−1​∥1​},k)}

DINO选择top-K元素的原因是，当GT与一个更远的anchor匹配时，混淆问题更容易发生

DN足以选择一个好的anchor。然而，CDN为小物体找到了更好的锚点

请添加图片描述

Mixed Query Selection

在DETR 和DN-DETR 中，解码器查询是静态嵌入，而不需要从单个图像中获取任何编码器特征

请添加图片描述
它们直接从训练数据中学习anchors（在DN-DETR和DAB-DETR中）或位置查询（在DETR中），并将内容查询设置为全部都是0的tensor。

为了进一步提高性能，Deformable DETR 有一个查询选择变体（two-stage），它从最后一个编码器层中选择前K个编码器特征作为先验，以增强解码器查询
位置查询和内容查询都是通过对所选特性的线性变换生成的

此外，这些被选择的特征被输入到一个辅助检测头，以获得预测盒，用于初始化参考盒

在DINO模型中，查询的动态四维锚定盒公式使其与解码器的位置查询密切相关，这可以通过查询选择来改进

只使用与选定的topk特性相关的位置信息初始化锚框，但使内容查询保持静态
请注意，Deformable DETR利用top-K特性不仅增强位置查询，还增强内容查询

由于所选的特征是初步的内容特征，没有进一步的细化，因此它们可能会含糊不清，并对解码器产生误导
例如，选定的特征可能包含多个对象，或者仅是对象的一部分

相比之下，DINO的混合查询选择方法只增强了具有顶部-k个选择特性的位置查询，并保持内容查询像以前一样的可学习性
它可以帮助模型使用更好的位置信息来从编码器中汇集更全面的内容特性。

Look Forward Twice

请添加图片描述
Deformable DETR中的box迭代强化阻断了梯度反向传播以稳定训练
将该方法命名为look forward once，因为layer-i的参数仅根据盒子bi的辅助损失进行更新

然而推测，后层改进的盒子信息更有助于纠正邻近早期层的盒子预测

因此，提出了另一种称为“look forward twice”的方法来执行盒子更新，其中layer-i的参数受到layer-i和layer-(i+1)的损失的影响

Δbi=Layer⁡i(bi−1),bi′=Update⁡(bi−1,Δbi),bi=Detach⁡(bi′),bi(pred )=Update⁡(bi−1′,Δbi), \begin{aligned} \Delta b_i & =\operatorname{Layer}_{\mathrm{i}}\left(b_{i-1}\right), & b_i^{\prime} & =\operatorname{Update}\left(b_{i-1}, \Delta b_i\right), \\ b_i & =\operatorname{Detach}\left(b_i^{\prime}\right), & b_i^{(\text {pred })} & =\operatorname{Update}\left(b_{i-1}^{\prime}, \Delta b_i\right), \end{aligned} Δbi​bi​​=Layeri​(bi−1​),=Detach(bi′​),​bi′​bi(pred )​​=Update(bi−1​,Δbi​),=Update(bi−1′​,Δbi​),​

Experiments

请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述

Ablation

请添加图片描述

Training Efficiency

请添加图片描述

Additional Analysis on our Model Components

请添加图片描述

Analysis on Query Denoising

请添加图片描述

【目标检测】《DINO: DETR with Improved DeNoising Anchor Boxes for End-to-End Object Detection》论文阅读笔记
聿默的博客
03-09 1万+
论文地址：https://arxiv.org/pdf/2203.03605v1.pdf
【论文笔记】Matching Anything by Segmenting Anything
Word_And_Me_的博客
08-04 1771
网址目前的方法主要依赖于标记的特定领域视频数据集，这限制了学习相似性嵌入的跨域泛化。文中的方法由两个关键组件组成。首先，基于 SAM，文中开发了一个新的管道：MASA。有了这个管道，文中从丰富的未标记图像集合中为密集实例级对应关系构建了详尽的监督。它使我们能够学习强大的判别实例表示来跟踪任何对象，而不需要任何视频注释。其次，文中引入了一个通用 MASA 适配器，以有效地转换来自冻结检测或分割主干的特征，以学习可泛化的实例外观表示。同时，MASA 适配器的蒸馏分支也可以显着提高分割一切的效率。
【论文精读】DINO
weixin_44934783的博客
02-14 1448
DINO
DINO-DETR论文学习记录
pengxiang1998的博客
03-23 2942
我们介绍了DINO（带有改进的去噪器box的DETR），一种最先进的端到端对象检测器。DINO 通过使用对比方式进行去噪训练、混合查询选择方法进行锚点初始化以及用于框预测的ook forward twice方案，在性能和效率方面比以前的类似 DETR 模型有所改进。DINO在COCO上实现了12个时期的49.4AP，在24个时期内实现了51.3AP，具有ResNet-50骨干和多尺度特征，与之前最好的类似DETR的模型DN-DETR相比，分别产生了+6.0AP和+2.7AP的显着改善。
【论文解读】DINO: 在DETR的肩膀上，重塑端到端目标检测
分享论文解读，分享思考见解，分享实践经验
05-30 1237
DETR pioneeringly地将Transformer引入目标检测，以集合预测（Set Prediction）的方式，实现了这一目标。然而，DETR的“初心虽好”，却也带来了训练收敛缓慢、查询（Query）含义模糊等问题。DINO通过3种创新使得在性能、收敛速度和模型效率上均取得了突破，首次确立了端到端Transformer检测器在主流 benchmarks 上的领先地位。
DINO 论文精度，并解析其模型结构 & DETR 的变体
热门推荐
Flying Bulldog 的博客
07-25 4万+
截止2022年7月25日，DINO是目标检测的SOTA。本人根据源码的复现感受和DINO论文的精读心得，撰写本篇博客，希望对你有所帮助。DINO(DETR with Improved deNoising anchOr boxes)，一款最先进的端到端对象检测器。对比的去噪训练方式；用于锚点初始化的混合查询选择方法；用于框预测的向前两次方案；本文章会对以上三种创新方法逐点击破。使用ResNet-50主干和多尺度特征，DINO在12个epoch获得49.4AP，在24个epoch获得51.3AP（收敛极快！）.
DINO论文笔记
yumiwawa19960506的博客
04-29 988
的 crop，teacher model 仅接受 global view 的输入，student model 可以接受 global 和 local view 的输入。训练过程中，student model 的参数用 sgd 更新，teacher model 的参数由 student model 和 teacher model 的参数加权得到，DINO 的方法设计并不复杂，但是用 DINO 预训练得到的 feature map 与图像分割 mask 有很强的联系，这个性质比较有趣。
DINO Emerging Properties in Self-Supervised Vision Transformers 论文阅读
Mi_Hao_YOUNG的博客
08-22 2354
Emerging Properties in Self-Supervised Vision Transformers阅读笔记 介绍 论文作者提出了一种新的自监督学习方法，self-distillation with no labels（DINO）。并将其应用在了CNN和Vision Transformer(ViT)结构上，均取得了不错的效果，且ViT的效果还要优于CNN。 特点 self-supervised ViT的feature包含了图片的语义分割的明确信息，如场景布局（scene layout），对
DINO / DINOv2 论文+代码深度解析
weixin_40849121的博客
05-04 7660
DINO 是一种用于自监督视觉学习的深度学习模型，于 2021 年由 Facebook AI 提出。DINO 是最先探讨基于 Transformer 架构的自监督学习代表作之一，其通过在无标签图像上进行自监督训练来学习视觉特征表示。
DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation——CVPR2023：论文笔记
qq_53323118的博客
08-06 1097
用于“个性化”文本到图像的扩散模型，即让这些模型适应特定用户的图像生成需求。目标是扩展模型的语言-视觉词典，使得新的词汇能与用户希望生成的特定主体绑定。一旦这个新的词典被嵌入到模型中，它就可以使用这些词汇来合成该主体的新颖、逼真的照片，这些照片可以放置在不同的场景中，同时保留关键识别特征。这种效果类似于一个“神奇的照片亭”——只需拍摄几张主题的照片，照片亭就能根据简单直观的文本提示生成该主体在不同条件和场景下的照片。
【23年新文】多模态图像识别和定位—— Grounding DINO 模型的解析和使用
weixin_44483403的博客
01-19 2790
作者文中说到训练了两种backbone的版本，一个叫Grounding-DINO-T，用的是 Swin-T 作为主干，另一个是 Groungind-DINO-L, 用的是 Swin-L 主干。之后下载他们训练好的模型，这里下载的是 SwinT 作为骨干网络的版本，你也可以不在 terminal 里面下载，自己下载到本地（或者是自己上传到服务器）。模型示意图是从下到上看的，具体pipeline参考下文“训练细节”一段（注意左边到右边有淡淡的一个用来映射的色块，可以看到结构放大的细节）
【算法学习、超详细】DINO用于视觉自监督学习的知识蒸馏算法——Emerging Properties in Self-Supervised Vision Transformers
qq_50001789的博客
02-21 3219
论文题目：《Emerging Properties in Self-Supervised Vision Transformers》| 作者利用知识蒸馏和动量更新策略实现了ViT模型在视觉任务上的自监督训练，通过摆脱标签的约束，充分挖掘了ViT算法的特征表示潜力。利用自监督学习的ViT特征明确包含了场景布局，特别是对象边界，这些关注区域可以在最后一个自注意力关注模块中直接提取，同时，自监督ViT网络所提取的特征在基本近邻分类器k-NN下表现特别好，无需任何微调就可以在ImageNet上达到78.3%的准确率。
首个目标检测大模型(识别万物)：DINO-X（论文翻译）
m0_59164520的博客
11-30 5175
有了这样灵活的提示选项，我们开发了一个通用的对象提示符来支持无提示的开放世界检测，使得在不需要用户提供任何提示的情况下检测图像中的任何东西成为可能。为了增强模型的核心能力，我们构建了一个拥有超过1亿个高质量接地样本的大规模数据集，称为。
多模态大模型 | GroundingDINO 论文总结
5年+算法工程师，分享人工智能前沿技术，与自己的工程经验，欢迎订阅关注。
05-16 4972
开放集目标检测器GroundingDINO，无需训练，检测任何物体的模型，效果非常好
自监督DINO论文笔记
hello_dear_you的博客
10-09 5825
Facebook提出的自监督视觉大模型DINO
论文导读：DINO -自监督视觉Transformers
deephub
12-02 8317
在本篇文章中我们将探讨DINO 论文的工作原理以及分析它是如何工作的。 我试图让文章保持简单，这样即使是先验知识很少的读者也能够看懂。 一般来说ViT 并不像某些人预期的那样有吸引力：因为它们需要很多的计算资源，并且需要更多的训练数据，最主要的是它们也没有表现出独特的特点。 Caron 等人在 2020 年发表的论文“Emerging Properties in Self-Supervised Vision Transformers”中。 旨在研究为什么有监督的 ViT 还没有起飞，以及是否可以通过对它们应
全网最详细的 DINOv2 论文解读来啦！
专注计算机视觉全栈知识分享
04-22 2万+
本文介绍了第一个基于图像数据的 SSL 工作——DINOv2，这是一种用于在大型图像数据集上预训练图像编码器，以获得具有语义的视觉特征。这些特征可用于广泛的视觉任务，无需微调即可获得与有监督模型相当的性能。该方法的关键是基于精心设计的数据流管道构建大规模的图像数据集，以及一些技术改进，如 Stochastic Weight Averaging、Efficient Stochastic Depth和Fully-Sharded Data Parallel等。
（DINO）Emerging Properties in Self-Supervised Vision Transformers论文精读（逐段解析）
最新发布
weixin_46248968的博客
07-20 849
【前沿论文精读】本文提出了一种名为DINO的自监督学习框架，通过无标签自蒸馏机制训练视觉Transformer(ViT)，发现了其优于卷积网络的新兴特性。研究发现：1)自监督ViT特征包含明确的语义分割信息，能自动识别图像目标轮廓；2)这些特征在小ViT上仅用k-NN分类器就达到78.3%的ImageNet top-1准确率。关键技术包括动量编码器、多裁剪训练和小块策略。DINO框架将自监督学习视为无标签知识蒸馏过程，通过学生网络预测教师网络输出形成自我强化循环。
Grounding DINO论文解读与代码调试
weixin_42479327的博客
03-12 9510
该模型2023.4月发布，是较新，效果很好的Open-Set Object Detection模型，很好玩，但直接做zero-shot还达不到工业部署的水平。我对它的整体评价也如GLIP一样。虽然比GLIP有提升，但效果还有继续提升空间。
dino论文
03-22
### DINO Algorithm Research Paper Overview The term **DINO** can refer to different concepts depending on the context within the IT and computer science fields. One prominent example is the **DINO (Distillation with No Labels)** algorithm, which focuses on self-supervised learning using vision transformers[^2]. This method leverages unlabeled datasets to train models effectively by distilling knowledge from a teacher model without requiring explicit labels. In another context, **DINO** might also relate to other domains such as network optimization, robotics, or even historical computational methods named after dinosaurs for fun purposes. However, based on recent trends in machine learning literature, the most relevant interpretation aligns closely with advancements in deep learning architectures like Vision Transformers (ViTs)[^3]. Here’s an excerpt of how one could implement parts of the DINO framework when working specifically around unsupervised pretraining: ```python import torch from torchvision import transforms from timm.models.vision_transformer import vit_base_patch16_224 def create_dino_model(): """Create base ViT model used commonly under DINO.""" backbone = vit_base_patch16_224(pretrained=True) # Modify head layers according to specific needs. num_features = backbone.head.in_features backbone.head = torch.nn.Identity() # Remove classification layer return backbone transform = transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), ]) model = create_dino_model() print(model) ``` This code snippet demonstrates setting up a basic version of a Vision Transformer that serves as part of what would be extended into full-fledged implementations seen across publications discussing algorithms similar to those mentioned earlier regarding accountability theories tied indirectly through broader AI ethics discussions[^1].
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值