Grounding DINO 1.5: 推动开放集目标检测的前沿

最新推荐文章于 2025-01-06 01:00:00 发布
最新推荐文章于 2025-01-06 01:00:00 发布
阅读量1.3k 收藏 14
点赞数 31
文章标签： 目标检测 人工智能 目标跟踪
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/2401_87458778/article/details/142459606
版权

Grounding DINO 1.5:开放集目标检测的里程碑

在计算机视觉领域,开放集目标检测一直是一个充满挑战的任务。近日,IDEA Research推出的Grounding DINO 1.5系列模型在这一领域取得了突破性进展,为研究人员和开发者带来了新的可能性。本文将详细介绍Grounding DINO 1.5的特点、性能以及应用前景。

模型概述

Grounding DINO 1.5是由IDEA Research开发的一套先进的开放集目标检测模型。该系列包含两个主要版本:

  1. Grounding DINO 1.5 Pro:这是该系列中性能最强大的模型,专为各种复杂场景下的目标检测任务而设计,具有出色的泛化能力。

  2. Grounding DINO 1.5 Edge:这是一个经过优化的高效模型,专门用于边缘计算场景,可以在保证检测质量的同时实现更快的检测速度。

研究团队巧妙地利用了"edge"一词的双重含义,既指"推动边界"(advancing the edge),又指"在边缘设备上运行"(running on edge devices)。这体现了该项目在技术创新和实际应用两个方面的雄心。

模型架构

Grounding DINO 1.5 Pro保留了Grounding DINO的核心架构,采用了深度早期融合(deep early fusion)的设计。整体框架如下图所示:

最低0.47元/天 解锁文章
paligemma、Grounding-DINO-1.5、Florence-2、EVF-SAM简单无需标注无需训练直接可以使用的识别、检测、分割大模型
weixin_42357472的博客
05-20 798
参考：https://github.com/google-research/big_vision/blob/main/big_vision/configs/proj/paligemma/README.md。通过文字prompt既可与图片对话输出，下面是官方案例。prompt 文字输入用.间隔。文本与图像特征一起送入大模型。类似CLIP对比学习方式。
超越YOLO检测一切！最强开集目标检测模型登场！学会这思路发文效率直接起飞
强化学习曾小健
09-28 985
论文介绍了一种新的开放集目标检测和发现（OSODD）任务，并提出了一种OSR-ViT框架来解决这个任务。该任务要求模型能够准确检测和标识所有感兴趣的目标，包括已知类别（ID）和未知类别（OOD）的目标。提出了OSR-ViT框架，通过组合建议网络和ViT模型，实现了在OSODD任务上卓越的性能。引入了证据理论和对比学习模块，定义了EOD的损失函数，通过模型的对比学习和证据获取来提高类别分离性能。，利用证据深度学习理论来近似分类分布参数的贝叶斯先验，通过任务特定的自定义框架来提高实际性能。和Edge两个版本。
Grounding DINO 1.5: Advance the “Edge” of Open-Set Object Detection——推动开放集目标检测的“边缘”
最新发布
Together_CZ的博客
01-06 944
Grounding DINO 1.5: Advance the “Edge” ofOpen-Set Object Detection——推动开放集目标检测的“边缘”
GroundingDINO1.5突破开放式物体检测界限：介绍与应用
阿旭的博客
06-26 2809
GroundingDINO1.5突破开放式物体检测界限：介绍与应用
Grounding DINO 1.5：开启开放世界物体检测的新纪元
gitblog_00285的博客
08-16 941
Grounding DINO 1.5：开启开放世界物体检测的新纪元 Grounding-DINO-1.5-APIAPI for Grounding DINO 1.5: IDEA Research's Most Capable Open-World Object Detection Model Series项目地址:https://gitcode.com/gh_mirrors/gr/Groundi...
探索无界物体检测：Grounding DINO 1.5 模型系列
gitblog_00058的博客
05-30 1443
探索无界物体检测：Grounding DINO 1.5 模型系列 Grounding-DINO-1.5-APIAPI for Grounding DINO 1.5: IDEA Research's Most Capable Open-World Object Detection Model Series项目地址:https://gitcode.com/gh_mirrors/gr/Groundin...
Grounding DINO 及其进阶版 1.5 SAM SAM2 的源代码及预训练模型，适用于无法打开Github网页的同学
08-13
内含 Grounding DINO 源码+预训练模型+paper、Grounding DINO 1.5 源码、Grounding DINO SAM 源码+paper、Grounding DINO SAM2 源码，适用于无法打开Github网页的同学
arXiv每日学术速递 | DINO-X：一种用于开放世界目标检测和理解的统一视觉模型（建议收藏！）
csdn_xmj的博客
12-04 2248
DINO-X是一个统一的以对象为中心的视觉模型，支持各种开放世界感知和对象级理解任务，包括开放世界目标检测和分割、短语定位、视觉提示计数、姿态估计、免提示目标检测和识别、密集区域标题生成等。
Grounding DINO：根据文字提示检测任意目标
猛码Memmat
08-14 1191
Grounding DINO
目标检测新SOTA，端侧实时识别，沈向洋罕见转发点赞
量子位
05-27 328
白交 发自 凹非寺量子位 | 公众号 QbitAI目标检测领域，迎来了新进展——Grounding DINO 1.5，IDEA研究院团队出品，在端侧就可实现实时识别。这一进展获得AI大佬沈向洋转发，他一般都是一年一转的节奏。此次发布主要有两个版本：Pro和Edge。Pro版更强，Edge版更快。它仍然保留了上一个版本Grounding DINO双编码器-单解码器结构，在此基础上通过结合更大的视觉 ...
Grounding DINO 1.5 API 使用教程
gitblog_00181的博客
08-16 1489
Grounding DINO 1.5 API 使用教程 Grounding-DINO-1.5-APIAPI for Grounding DINO 1.5: IDEA Research's Most Capable Open-World Object Detection Model Series项目地址:https://gitcode.com/gh_mirrors/gr/Grounding-DIN...
IDEA研究院Grounding DINO 1.5 双版本齐发，开创端侧部署新时代
强化学习曾小健
09-18 1059
计算机视觉与机器人研究中心（CVR，Computer Vision and Robotics）立足于计算机视觉和机器人方向的基础研究，专注于大规模视觉表示学习、物体检测与识别、智能控制等问题，通过核心技术的研究和突破，打造世界领先的机器视觉和智能机器人技术。例如，在医疗领域，通过微调后的Grounding DINO 1.5 Pro可以更准确地识别医疗影像中的病灶，辅助医生进行诊断，提高诊疗效率。Grounding DINO 1.5 在其前身 Grounding DINO 的基础上，通过结合更大的视觉。
groundingDINO和groundingDINO 1.5的最要的相关创新和改进有哪些
强化学习曾小健
12-03 1378
开集目标检测的核心：把语言引入到闭集检测器把检测器分为三个阶段，然后提出一个紧密的融合方案：特征增强器、语言引导的query选择、跨模态的decoder之前的工作主要在novel class上评测开集，本文也在REC任务上进行评测开集检测的关键是对于 未见object的泛化性 引入语言信息。GLIP把目标检测当做phrase grounding task，然后在object regions和language phrases引入对比学习。
Grounding DINO：开放集目标检测，将基于Transformer的检测器DINO与真值预训练相结合
weixin_47748259的博客
01-09 4569
在这里的反向传播是通过学生网络执行的，这时教师的权重尚未更新的原因。为了更新教师模型，DINO 对学生权重使用指数移动平均 (EMA)，将学生网络的模型参数传输到教师网络。在自然语言处理（NLP）中，通常有不同层次的文本表示，从单词级别到句子级别，再到段落和文档级别。的方法，主要思想是通过让模型学会自行对数据进行插值，从而学习出对数据有意义的表示；它训练了一个学生网络来模仿一个更强大的教师网络的行为，所有这些都不需要在训练数据中有明确的标签。Q是词的查询向量，K是“被查”向量，V是内容向量。
目标检测分割大模型—零样本实现目标检测/图像分割/目标跟踪
weixin_43825188的博客
06-10 3630
Grounding DINO 1.5 在其前身 Grounding DINO 的基础上，通过结合更大的视觉 backbone 扩大模型尺寸，并使用超过2000万的 Grounding 数据获得了丰富的语料，大幅提升了检测精度和速度，且通过Pro和Edge版本分别针对不同应用场景进行了优化。相反，视觉提示提供了一种更直观、更直接的对象表示方法。如工业生产流水线器件检测，交通航运领域的船舶、飞机检测，农业领域的农作物、果蔬检测，生物医学领域的细胞、组织检测，物流领域的货物检测，环境领域的野生动物监测等。
Grounding DINO论文解读与代码调试
weixin_42479327的博客
03-12 8694
该模型2023.4月发布，是较新，效果很好的Open-Set Object Detection模型，很好玩，但直接做zero-shot还达不到工业部署的水平。我对它的整体评价也如GLIP一样。虽然比GLIP有提升，但效果还有继续提升空间。
DINOv、T-Rex、T-Rex2、GLIP、Grounding DINO论文阅读
zzzzry的博客
03-27 2039
效果：视觉提示通用分割、视觉提示参照分割、zero-shot视频对象和部分分割出发点：在视觉领域利用LLMs做上下文提示（in-context prompting）贡献：1）我们是第一个扩展来支持通用视觉任务，如开放集通用分割和检测，并实现与基于文本提示的开放集模型相当的性能。2）我们构建了，一个基于视觉上下文提示的参考分词和通用分词的统一框架。这种统一简化了模型设计，并允许我们的模型同时使用语义标记和未标记的数据，以获得更好的性能。
简化目标检测：使用 Grounding DINO 对自定义数据集进行标注
Warmer_Sweeter
04-22 4466
点击下方卡片，关注“小白玩转Python”公众号对于像 YOLO 这样的模型，使用带有标注图像数据集进行训练有时可能会有点令人望而却步。如果你需要处理自定义数据，并围绕其定义标注，那可能会有些耗时。但我找到了完美的解决方案——Grounding DINO！这种方法的突破之处在于，它将基于 Transformer 的检测器 DINO 与基础预训练相结合，可以从有限的人类输入中检测到任意对象。这篇简易...
利用Grounding DINO进行自动标注——目标检测任务——YOLO格式
张飞飞的博客
12-02 1165
利用Grounding DINO大模型进行数据集的自动标注
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值