YOLO-World :实时开放词汇对象检测,前沿开集目标检测器!YOLOV8/计算机视觉/深度学习

零样本检测模型YOLO-World 实现了开放词汇检测的突破,兼具速度与精度。其零样本能力大幅降低了行业落地的数据标注成本,特别适合动态环境中的实时应用。未来可通过改进小目标检测和遮挡处理进一步提升性能。,实现了无需额外训练即可检测任意类别物体的能力(零样本检测)。开发的实时开放词汇目标检测模型,基于。YOLO-World 是由。YOLO-World 通过。 阅读详情
AI摘要

YOLO-World利用先进的UltralyticsYOLOv8和CLIP模型,提供实时、高效且零样本的开放词汇检测,显著降低计算需求,超越MDETR和GLIP等竞争者,尤其适合动态场景和多任务应用。

YOLO 世界模型引入了先进的实时 UltralyticsYOLOv8-基于开放词汇检测任务的先进实时方法。这项创新可根据描述性文本检测图像中的任何物体。YOLO-World 可大幅降低计算要求,同时保持极具竞争力的性能,是众多视觉应用的多功能工具。

概述

YOLO-传统的开放式词汇检测模型通常依赖于需要大量计算资源的繁琐的 Transformer 模型。这些模型对预定义对象类别的依赖也限制了它们在动态场景中的实用性。YOLO-World利用开放式词汇检测功能重振了YOLOv8 框架,采用了视觉语言建模和在大量数据集上进行预训练的方法,能够以无与伦比的效率在零拍摄场景中出色地识别大量物体。

主要功能

  1. 实时解决方案:利用 CNN 的计算速度,YOLO-World 可提供快速的开放词汇检测解决方案,满足各行业对即时结果的需求。

  2. 效率和性能: YOLO-World 可在不牺牲性能的前提下降低计算和资源需求,提供了一种可替代SAM 等模型的强大功能,但计算成本仅为它们的一小部分,从而支持实时应用。

  3. 利用离线词汇进行推理: YOLO-World 引入了 "先提示后检测 "的策略,利用离线词汇进一步提高效率。这种方法可以使用预先计算的自定义提示,包括标题或类别,并将其编码和存储为离线词汇嵌入,从而简化检测过程。

  4. 由YOLOv8 支持:基于 UltralyticsYOLOv8-YOLO-World 利用实时对象检测方面的最新进展,以无与伦比的准确性和速度促进开放词汇检测。

  5. 卓越的基准测试: YOLO在标准基准测试中,World 的速度和效率超过了现有的开放词汇检测器,包括 MDETR 和 GLIP 系列,展示了YOLOv8 在单个 NVIDIA V100 GPU 上的卓越性能。

  6. 应用广泛: YOLO-World 的创新方法为众多视觉任务带来了新的可能性,与现有方法相比,速度提高了几个数量级。

可用型号、支持的任务和运行模式

本节详细介绍了可用的模型及其特定的预训练权重、支持的任务以及与各种运行模式(如推理、验证、训练和导出)的兼容性,支持的模式用 ✅ 表示,不支持的模式用 ❌ 表示。

备注:YOLOv8-World 的所有权重都直接移植自YOLO-World 官方资源库,突出了他们的卓越贡献

 COCO 数据集上的零点转移

模型架构

YOLO-World的骨干网络采用了YOLOv8的结构,而其语言模型则使用了CLIP模型。通过将图像和文本特征进行融合,YOLO-World可以在不牺牲性能的情况下提高检测效率。

训练与推理

YOLO-World的训练过程中,使用了区域-文本对作为标签,而非传统的边界框和类别标签。这种设定允许模型在学习过程中更好地理解对象和它们的描述。在推理时,YOLO-World可以实时提供准确的检测结果,因为它优化了算法和模型结构以提高速度。

应用场景

YOLO-World适用于多种实际应用场景,如实时视频分析、自动驾驶中的物体检测、机器人导航等。由于它能够检测未经预定义的物体,YOLO-World在动态和无确定性的环境中特别有用。

性能展示

在具有挑战性的LVIS数据集上,YOLO-World实现了35.4 AP和52.0 FPS的性能,显示出它在准确性和速度上都优于许多最先进的方法。经过微调的YOLO-World在多个下游任务上也取得了卓越的性能。

劣势

尽管YOLO-World在很多方面表现出优越性,但它仍然存在一些劣势。例如,YOLO算法对较小目标的检测精度相对较低,这可能是因为它使用的网络提取的特征图分辨率较低。另外,当目标被其他对象部分遮挡时,YOLO的检测精度会大幅下降

开源与社区

YOLO-World的预训练权重和代码将开源,以便促进更多的实际应用和研究发展。这将进一步推动YOLO-World在不同领域的应用。

结论

YOLO-World的实时开放词汇检测能力和优秀的性能使其成为了一个强大的工具,可用于各种需要快速准确对象检测的场景。随着越来越多的研究和应用的开展,我们可以期待YOLO-World在未来会有更多的创新和发展。

综上所述,YOLO-World在多个领域已被证明是最有效的,尤其是实时开放词汇对象检测方面。它的技术细节反映了其在视觉语言建模和预训练方面的先进性,而在实际应用中,它的优势主要体现在零样本检测能力和实时性能上。然而,也应注意到它在小目标检测和部分遮挡目标检测方面的局限性。总体而言,YOLO-World是一项重要的研究成果,有望在未来的计算机视觉应用中扮演更加关键的角色。

毕业论文|1小时跟着博士搞懂腾讯的yoloworld论文!采用CLIP模型的YOLO-WORLD比之前好的零样本检测器快20倍,小5倍!计算机视觉、目标检测


huggingface: https://huggingface.co/spaces/stevengrove/YOLO-World 

在【咕泡AI】VX公众号后台回复:211,获取视频+论文代码,赶快学起来!

还可以论文指导发刊的 【AI交叉学科、SCI、CCF-ABC、期刊、会议、本硕博论文、在职论文指导、大佬Kaggle带队拿牌、 润色发刊等 】 

白嫖100G入门到进阶AI资源包+kaggle带队拿牌+就业指导+技术问题答疑

资料包:1、超详细的人工智能学习路

2、OpenCV、Pytorch、YOLO等教程

3、人工智能快速入门教程(Python基础、数学基础、NLP)附源码课件数据

4、机器学习算法+深度学习神经网络基础教程

5、人工智能必看书籍(花书、西瓜书、蜥蜴书等)

6、顶刊论文及行业报告

7、SCI论文攻略 及润色等

(需要这个资源包的记得说明您还需要这个资料包)

 

 

 

U版YOLO-World来了,YOLOv8再度升级,三行代码上手YOLO-World! 欢迎关注AIWalker,近距离接触底层视觉与基础AI。 阅读详情

相关推荐

YOLO-World与传统YOLO

YOLO-World 是由腾讯人工智能实验室(Tencent AI Lab)及其合作伙伴在2024年1月31日正式发布的实时开放词汇目标检测模型。这一模型的提出标志着目标检测领域的一个重要进展,特别是在处理开放词汇表识别方面的能力得到了显著增强。具体来说,YOLO-World 结合了视觉语言建模和大规模数据预训练的方法,赋予了YOLO模型零样本检测能力与语言理解能力,在推理速度和零样本检测精度上均领先先前的工作。

CherryXieのblog 2420

YOLO-World初体验:Ultralytics版本,可直接上手,离线运行

YOLOv8官方新增了对YOLO-World的支持,本文利用其提供的模型及接口进行了体验。

AI数据工厂 2万+

【深度学习】YOLO-World: Real-Time Open-Vocabulary Object Detection,目标检测

YOLO-World是一种实时开放词汇目标检测系统,它通过视觉-语言建模和大规模数据集上的预训练,增强了YOLO(You Only Look Once)系列检测器的开放词汇检测能力。具体来说,该研究提出了一个新的可重新参数化的视-语路径聚合网络(RepVL-PAN)和区域-文本对比损失函数,以促进视觉和语言信息之间的交互。YOLO-World在零样本方式下检测广泛对象类别方面表现出色,并且效率很高。

q742971636的博客 4172

YOLO-World

首先,与在完整LVIS数据集上训练的oracle YOLOv8s相比,YOLO-World取得了显著的提升,尤其是对于较大模型,例如,YOLO-World-L比YOLOv8-L在7.2 AP和10.2 AP上有更好的表现。此外,作为高效的单阶段检测器,YOLO-World在总体性能上超过了之前最先进的两阶段方法,而且无需额外的设计,例如,可学习的提示[7]或基于区域的对齐。预训练的YOLO-World拥有丰富的区域文本对,展示了在大词汇检测方面的强大能力,且更多的数据训练将带来开集能力的更大提升。

whaosoft143ai的博客 9624

实用电路精讲系列---仪表放大器

摘要 仪表放大器通过三级运放架构实现高共模抑制比(CMRR>100dB)和精密差分放大,其核心是第一级同相运放提供高输入阻抗和可调增益(G=1+2R/RG),第二级差分运放消除共模干扰。具有低失调(≤50μV)、低温漂(≤0.6μV/℃)特性,广泛应用于智能断路器电流监测、ECG心电信号放大等场景。典型电路采用LTC1049运放,通过匹配电阻网络实现199倍差分增益,结合输出缓冲确保信号稳定性。设计时需注意输入共模电压范围限制和增益电阻精度,优选集成IC(如AD620、INA128)以规避分立元件匹配

weixin_40590799的博客 2070

ESP32—C3实现网页跳转

用户点击HTML页面中的按钮。浏览器根据按钮的href属性向服务器发送HTTP GET请求。服务器根据请求的URL调用相应的回调函数。服务器发送包含新页面HTML内容的HTTP响应。浏览器解析并显示新的HTML页面。这个过程对于用户来说是无缝的,看起来就像是直接从一个页面跳转到另一个页面。实际上,背后发生了HTTP请求和响应的过程。

qq_59527512的博客 1022

YOLO-World——超级轻量级开放词汇目标检测方法

YOLO-World,一个实时的open vocabulary检测器,旨在提高实际应用中的效率和open vocabulary能力。作者将普遍存在的YOLO重新塑造为一个视觉语言YOLO架构,提出了RepVL-PAN,将视觉和语言信息与网络连接,并可重新参数化以实现高效部署。作者进一步提出了有效的预训练方案,包括检测、基础和图像文本数据,赋予YOLO-World强大的open vocabulary检测能力。实验表明,YOLO-World在速度和open vocabulary性能方面具有优越性,并表明视觉语言

知来者逆的博客 1万+

Jenkins中文显示不全?三步搞定Locale插件+汉化包的正确安装姿势

本文针对Jenkins界面中文显示不全问题,提供从原理到实战的深度解决方案。文章详细解析了Locale插件与中文语言包的核心机制,并分步指导如何通过配置JVM环境、正确安装插件及执行深度排查,彻底解决汉化顽疾,实现Jenkins界面的完美中文显示。

weixin_42611310的博客 259

YOLO-World解读:零基础学习开放世界模型

YOLO World是一项突破性的技术,它增强了YOLO探测器在开放词汇检测方面的能力。该技术通过视觉语言建模和在大规模数据集上的深度预训练,引入了先进的RepVL-PAN网络以及区域文本对比损失,从而强化了图像与文本之间的相互作用。在LVIS数据集的评估中,YOLO World实现了35.4的AP值和52.0的FPS,这一成就不仅超越了许多尖端方法,也标志着其在性能上的卓越。此外,YOLO World在对象检测和开放词汇实例分割等任务上也展现了卓越的性能,进一步证明了其在该领域的领先地位。

wqthaha的专栏 8207

软件测试工程师最常用的Linux系统命令大全(汇总)

cd命令这是一个非常基本,也是大家经常需要使用的命令,它用于切换当前目录,它的参数是要切换到的目录的路径,可以是绝对路径,也可以是相对路径。

1330

IAR9.30以上版本安装、注册、新建工程和配置过程详细介绍

IAR 一般是指一款嵌入式软件的集成开发环境,类似于 MDK-Keil 这款软件。IAR 对于不同的内核处理器,是对应不同的 IAR 软件的,IAR 到目前为止支持大部分的MCU,比如8051系列、ARM架构系列、MSP430系列、AVR系列等等这些常用的芯片架构。对于 ARM 架构的芯片,有对应的 IAR Embedded Workbench for ARM 软件平台,因为我主要是使用 ARM 架构芯片,下面安装、注册和使用都是基于这个版本进行介绍的。

luobeihai的博客 6万+

YOLO | YOLO-World论文详解

腾讯出的热气腾腾的论文YOLO-World来啦~

weixin_44649780的博客 8974

YOLO11改进-注意力-引入多尺度注意力聚合(MSAA)模块

对来自backbone的特征进行细化处理。通过空间和通道两个路径的操作,增强了空间和通道方面的特征信息,使得输出的特征图在空间和通道维度上都更加优质。1. 在空间细化路径中,通过对不同核大小的卷积进行求和以及一系列的空间特征聚合操作,实现了多尺度空间信息的融合。2. 在通道聚合路径中,通过全局平均池化、卷积和激活等操作生成通道注意力图,并与空间细化后的图相结合,实现了通道维度上的多尺度信息融合。

qq_64693987的博客 4675

目标检测系列—YOLO-World 详解

是腾讯 AI Lab 研发的一款,旨在解决传统目标检测模型在面对新物体类别时的局限性。YOLO-World 通过创新的方法,使得模型可以通过简单的文本提示,识别任何新物体,无需进行额外的训练。这使得 YOLO-World 在方面展现出了巨大的优势。本文将详细解析 YOLO-World 的,并提供如何使用 YOLO-World 的代码示例。

Azperk的博客 4871

openwrt之luci通信原理(一)

从模板中分离,每个LuCI2子页面也需要一个定义并存放在/www/luci2/view/目录下的一个视图,视图是使用了子页面特定对象的L.ui.view扩展的JavaScript文件。有一点需要注意的是需要提供execute方法,创建视图失败有几种原因,特别是当它需要ubus加载额外的数据使用的时候。所以在execute方法中提供成功或者失败的信息是有意义的。不幸的是在异步方法加载特定数据的时候,不能简单的返回true或false,解决的方法是返回一个Promise对象来运行推迟提供是否成功的信息。

1150

全志V3S嵌入式驱动开发(uboot移植)

【 声明:版权所有,欢迎转载,请勿用于商业用途。 联系信箱:feixiaoxing @163.com】 安装了ubuntu操作系统,有了开发板,下面就可以进行我们的开发工作了。第一步,我们要面临的问题就是uboot移植。一般来说,嵌入式的基础环境就是uboot、linux和rootfs。uboot完成一些基本硬件的初始化,比如cpu频率设置、ddr初始化、加载linux等等。早前,uboot的烧入比较麻烦,需要jtag工具才能完成。现在来说,很多soc支持系统直接从sd卡启动,这对开发

嵌入式-老费,一个分享专业嵌入式知识的blog 2817

Yolo-World网络模型结构及原理分析(一)——YOLO检测器

本文主要对开放词汇检测模型yolo-world的模型结构进行分析,研究模型具体的工作流程

ITdaka的博客 6563

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

YOLO-World-理论阅读

YOLO-World是在2024年1月31日由腾讯AI实验室发布的。‌这一实时、开放词汇的物体检测模型旨在提升开放词汇检测能力以及解决现有zero-shot目标检测模型的限制,特别是在速度方面。YOLO-World是一个零样本模型,意味着用户无需任何训练即可运行对象检测,只需定义提示即可检测任何对象。

weixin_53721065的博客 2116

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

多模态:YOLO-World详解

YOLO系列检测器已将自己确立为高效实用的工具。然而,它们依赖于预定义和训练的物体类别,这在开放场景中限制了它们的适用性。针对这一限制,作者引入了YOLO-World,这是一种创新的方法,通过视觉语言建模和在大型数据集上的预训练,将YOLO与开集检测能力相结合。具体来说,作者提出了一种新的可重参化的视觉语言路径聚合网络(RepVL-PAN)和区域文本对比损失,以促进视觉和语言信息之间的交互。作者的方法在以零样本方式检测具有很好的效果。

WiSirius的博客 9819

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

真是太强大了!YOLO-World检测一切的任务框架使用指南,支持开放词汇检测任务

真是太强大了!YOLO-World检测一切的任务框架使用指南,支持开放词汇检测任务

阿旭的博客 8131

YOLO-World 全面解析:实时开放词汇目标检测的新范式(附实践指南)

通过前边的 YOLO 检测器和文本编码器分别得到了特征图像和词向量,那么如何实现二者的融合,以达到开放词汇目标检测的目的?YOLO-World 中提出了新的网络架构RepVL-PAN(Re-parameterizable Vision-Language Path Aggregation Network),它通过融合视觉信息和语言信息来提升检测性能并兼顾实时推理。

m0_38097087的博客 2864

人工智能培训之AI没有落下的腾讯出YOLO-World爆款 | 开集目标检测速度提升20倍,效果不减

首先,与在完整LVIS数据集上训练的oracle YOLOv8s相比,YOLO-World取得了显著的提升,尤其是对于较大模型,例如,YOLO-World-L比YOLOv8-L在7.2 AP和10.2 AP上有更好的表现。此外,作为高效的单阶段检测器,YOLO-World在总体性能上超过了之前最先进的两阶段方法,而且无需额外的设计,例如,可学习的提示[7]或基于区域的对齐。预训练的YOLO-World拥有丰富的区域文本对,展示了在大词汇检测方面的强大能力,且更多的数据训练将带来开集能力的更大提升。

人工智能讲师分享前沿技术 999

CVPR 2024最新论文分享┆YOLO-World:一种实时开放词汇目标检测方法

本推文主要介绍了一种开放词汇目标检测的一种新方法,名为YOLO-World。论文主要提出了一种创新的开词汇目标检测方法,通过引入视觉-语言建模和大规模预训练解决了传统YOLO检测器在固定词汇检测中的局限性。

audyxiao001的博客 6482

Yolo-World实战应用

可以创建一个YOLO-World 模型版本,专门用于您的特定用例。此过程将您的自定义类定义直接嵌入模型文件,使模型无需进一步调整即可与您指定的类一起使用。保存后,custom_yolov8s.pt 模型的行为与其他预训练的YOLOv8 模型无异,但有一个关键区别:它现在经过优化,只能检测您定义的类别。针对您的特定应用场景,这种定制可以大大提高检测性能和效率。效率:通过关注相关对象、减少计算开销和加快推理速度,简化检测过程。灵活性:可使模型轻松适应新的或特殊的检测任务,而无需进行大量的再培训或数据收集。

AI浩 3962

探索AI边界:YOLO-World,实时物体检测的新纪元

是一个创新的深度学习项目,旨在实现高效的实时多类别物体检测。由AILab-CVC团队开发,YOLO-World基于流行的YOLO(You Only Look Once)框架进行了优化和扩展,使其能够处理更多的现实世界物体类别。 ## 技术分析 ### YOLO架构升级 YOLO系列以其快速的推理速度和相对较高的精度著称。YOLO-World在原基础上进一步优化了网络结构,特别是在处理小物体和...

gitblog_00032的博客 861

YOLO-World源码实战:三种微调方式(normal fine-tuning、prompt tuning、Re-parameterized fine-tuning)。

YOLO-World源码实战:包含三种微调方式(normal fine-tuning、prompt tuning、Re-parameterized fine-tuning)的使用示例和真实代码。

Le0v1n 的博客 1万+
上一篇: 打造你的专属大模型,学完即可使用上岗!技术人的大模型课程(人工智能/机器学习/深度学习)
下一篇: 多模态学习:多模态大模型(医疗影像分析)
普通网友
博客等级 码龄5年 1265粉丝 108原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值