glip, glipv2介绍

最新推荐文章于 2025-04-08 10:15:28 发布
最新推荐文章于 2025-04-08 10:15:28 发布
阅读量927 收藏
点赞数
文章标签： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/northeastsqure/article/details/130073756
版权

clip是使用 描述图片的句子 和 图片分类 作为一组输入来训练网络。

glip是使用  描述图片的句子 和 图片检测任务  作为一组输入来训练网络。

clip使用4亿对， glip使用27milliion, 3M人工标定， 24M网络爬

glipv2比v1多了语义分割，实例分割

northeastsqure
关注
论文阅读-（GLIP）Grounded Language-Image Pre-training （目标检测+定位）
一位不是很硕的鉴伪方向硕士
03-06 3515
GLIP 模型统一了目标检测（object detection）和定位（grounding）两个任务，构建了一个统一的训练框架，从而将两个任务的数据集都利用起来。再配合伪标签的技术来扩增数据，使得训练的数据量达到了前所未有的规模。在训练完成之后，直接以 zero-shot 的方式在 COCO 数据集上进行测试，达到了 49.8 AP。
【深度学习】YOLO-World: Real-Time Open-Vocabulary Object Detection，目标检测
q742971636的博客
04-08 3298
YOLO-World是一种实时开放词汇目标检测系统，它通过视觉-语言建模和大规模数据集上的预训练，增强了YOLO（You Only Look Once）系列检测器的开放词汇检测能力。具体来说，该研究提出了一个新的可重新参数化的视-语路径聚合网络（RepVL-PAN）和区域-文本对比损失函数，以促进视觉和语言信息之间的交互。YOLO-World在零样本方式下检测广泛对象类别方面表现出色，并且效率很高。
GLIP：语言-图像关联预训练模型
weixin_51697828的博客
04-03 7490
原文：Li,LiunianHarold,PengchuanZhang,HaotianZhang,JianweiYang,ChunyuanLi,YiwuZhong,LijuanWang,LuYuan,LeiZhang,Jenq-NengHwang,Kai-WeiChangandJianfengGao.“GroundedLanguage-ImagePre-training.”ArXivabs/2112.03857(2021). 源码：https:...
GLIP项目安装与配置指南
最新发布
gitblog_00551的博客
04-08 886
GLIP项目安装与配置指南 GLIP Grounded Language-Image Pre-training 项目地址: https://gitcode.com/gh_mirrors/gli/GLIP ...
GLIPv2
KIKI3666的博客
09-27 1532
GLIPv2和GLIPv1架构基本一样，只是融合了更多的任务和数据集。从论文题目 Unifying Localization and Vision-Language Understanding可以看出，其统一了所有的定位任务（比如分割和检测）和Vision-Language任务。：图像描述生成，根据一张图片生成描述性文本；VQA：给定一张图片和一个与该图片相关的自然语言问题，计算机能产生一个正确的回答。文本QA即纯文本的回答，与之相比，VQA把材料换成了图片形式，所以这是一个典型的多模态问题；
【多模态】10、GLIPv2 | 在 GLIP 上扩展 negative phrase 并新增分割功能
呆呆的猫的博客
06-05 2880
本文主要介绍 GLIPv2
GLIP_V1/V2（Ground Language-Image Pre-train）CVPR2022
weixin_45104951的博客
09-27 1134
vision grounding任务：给你一句话，你去把这句话里的物体在当前图片中定位出来。就类似一个目标检测任务。 CLIP是一个图像文本配对任务。 将两个任务结合起来，再加入伪标签（self training），这样模型就可以在没有标注过的图像文本对上生成bbox标签。从而扩张整个训练数据集的数量。
【论文精读】CLIP 改进工作（LSeg、GroupViT、VLiD、 GLIPv1、 GLIPv2、CLIPasso、CLIP4clip、ActionCLIP）
weixin_47748259的博客
04-08 3015
LSeg模型使用了CLIP模型的预训练参数，但是其目标函数不是对比学习，也不是无监督学习的框架，并没有将文本作为监督学习的信号使用。模型在 7 个分割数据集上进行训练，这些数据集都是由有标注的分割图组成，所以模型是以有监督的方式进行训练的（损失函数是交叉熵损失而非无监督的对比学习目标函数）。推理时，可以指定任意个数、任意内容的类别 prompt 来进行 zero-shot 的语义分割。
将O365转换为grouding data
08-12
- *1* *2* *3* [【多模态】10、GLIPv2 | 在 GLIP 上扩展 negative phrase 并新增分割功能](https://blog.youkuaiyun.com/jiaoyangwm/article/details/130623815)[target="_blank" data-report-click={"spm":"1018.2226....
多模态大模型 | GroundingDINO 论文总结
5年+算法工程师，分享人工智能前沿技术，与自己的工程经验，欢迎订阅关注。
05-16 4812
开放集目标检测器GroundingDINO，无需训练，检测任何物体的模型，效果非常好
目标检测算法——YOLO-Word——算法详解
TigerZ*的博客
04-19 2592
本文主要介绍YOLO-word 算法，从思路和数据角度去梳理输出文章的创新点，整体而言CLIP 文本embedding的引入以及大规模数据的加入，赋予了模型识别开集其余类目的能力。
go-glip：Go中Glip（https：glip.com）的入站Webhook客户端
02-10
Go中的Glip Webhook客户端 安装 $ go get github.com/grokify/go-glip 用法 在Glip中为对话创建Webhook URL 使用下面的代码向Webhook URL发送消息 import ( "fmt" "github.com/grokify/go-glip" ) func sendMessage () { // Can instantiate webhook client with full URL or GUID only url := "https://hooks.glip.com/webhook/00001111-2222-3333-4444-555566667777" client , err := glipwebhook . NewGlipWebhookClient ( url ) i
＜＜计算机视觉NeurIPS＞＞2022：GLIPv2: Unifying Localization and VL Understanding
金克丝的博客
09-30 1365
建立一个通用的，可以同时处理任务(image classification、object detection和segmentation等等)和任务(VQA和image captioning等等)的在过去一两年广为关注，这需要模型能够有效的统一和任务。然而，这两种任务有很大的区别：localization是仅视觉的任务，需要细粒度的输出(例如，bounding boxes或pixel masks)，而VL understanding强调不同模态信息之间的融合。
李沐论文精读系列四：CLIP和改进工作串讲（LSeg、GroupViT、VLiD、 GLIPv1、 GLIPv2、CLIPasso）
热门推荐
qq_56591814的博客
10-30 3万+
本文重点介绍了CLIP模型，和其在目标检测、语义分割、图像生成领域的扩展工作。
GLIP - 统一物体检测与短语定位的语言
weixin_42136827的博客
09-09 3152
是一个新颖的模型，通过将视为上下文化的短语定位任务，将物体检测和短语定位统一起来。这种方法实现了一个灵活的、开放词汇的物体检测框架，将图像中的区域与文本描述对齐。这种方法克服了传统物体检测系统的局限性，后者通常只训练于固定的物体类别集。GLIP 的核心贡献在于将物体检测重构为短语定位、深度语言感知的视觉与文本信息融合，以及利用大量人类标注和自监督的图像-文本数据进行预训练。
Glip模型
u013308709的博客
03-09 789
Yolos 完全使用Transformer做目标检测 Detr 先使用CNN提取特征然后再使用transformer Detr和Yolos共同的缺点：需要事先知道所有的类别 Glip Zero-shot, 目标检测的类别可以不在训练类别中 目标框进行视觉编码，然后和文本进行匹配 文本和视觉特征是通过Clip模型提取的，所以视觉向量和文本向量是在一个空间 Glip模型的优点 Glip图像和文本融合 Glip损失函数 Glip训练数据
【多模态大模型】GLIP：零样本学习 + 目标检测 + 视觉语言大模型
Debroon
02-04 1万+
通过这些数据，GLIP学习到了丰富的视觉概念和语义信息，比如什么是“猫”，它们长什么样，常出现在哪些场景中，以及如何根据不同的描述（例如“黑色的猫”）来识别和定位具体的对象。比如，当GLIP遇到一个它在预训练数据中没有直接见过的新图片，即使这张图片中的对象是新的或者以新的方式出现，GLIP也能利用它从预训练中学到的知识，来识别和定位图片中的对象。: 在现有的视觉识别任务中，模型通常是针对一组固定的对象类别进行训练的，这限制了它们在现实世界中的应用，因为遇到新的视觉概念时，需要额外的标注数据来进行泛化。
多模态之GLIP—低成本迁移所有领域的phrase grounding预训练SOTA模型，细节理解与论文详细阅读：Grounded Language-Image Pre-training
小小帅
03-14 2371
本文提出了一种基础语言图像预训练（GLIP）模型，用于学习对象级、语言感知和语义丰富的视觉表征。GLIP 将物体检测（object detection）和短语定位（phrase grounding）统一起来进行预训练。它允许 GLIP 从检测和定位数据中学习，从而改进这两项任务，并引导出一个良好的定位模型；GLIP 可以利用海量图像-文本对，以自我训练的方式生成定位框，从而使学习到的表征语义丰富。
GLIP，FLIP论文阅读
qq_52038588的博客
10-23 659
1.图像端引入MAE的随机MASK，image encoder只处理未mask的patches（和之前的MAE方法一致），减少了输入序列长度加速训练，减少memory开销。text端没引入mask是因为text信息比较dense（图片信息比较稀疏），mask掉效果反而不好，之后是选择mask掉textpadding的地方提升了精度。2.做了三个方面的scale：说明model和data的scale还是很重要的，不同数据集相同大小也会对模型造成影响。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值