论文阅读 | GroupViT: Semantic Segmentation Emerges from Text Supervision

原创 已于 2023-02-28 09:12:35 修改 · 1.3k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读 #深度学习 #计算机视觉

于 2023-02-23 13:30:52 首次发布
GroupViT是一种基于Transformer的语义分割方法，受CLIP启发，利用文本-图像对进行无监督学习。它通过结合图像patch和类别patch，使用Gumbel-Softmax进行硬分配，实现像素级别的语义理解。实验表明，这种方法在无标签数据上表现优秀，且能处理未见过的类别。

前言：CLIP工作拓展-利用文本-图像对的信息进行图像语义分割（CVPR2022）
论文：【here】
代码：【here】

GroupViT: Semantic Segmentation Emerges from Text Supervision

引言

传统分割方法采用自底而上的架构，深度学习方法是端到端的，自顶而下的为每个像素分配标签：
缺点有：标记数据繁琐，以及不能拓展到标签以外的类别
受到如今一些采用zero-shot方式取得成功方法的启发，这样可以针对下游任务微调模型，还可以拓展到没有出现过的类别
因此我们提出了一种方法,groupvit

方法

pipeline如下
在这里插入图片描述

首先是将图像打成16 * 16的小patch一共196个patch送入网络，和vision transformer是一样的，但是加了64个可学习的patch与图像patch合并concat起来送入网络，然后进行transformer，过6层transformer后，进行group block
然后是group_block的设计
原本concat起来的两种patch，196 * 384图像patch 和64 * 384的类别patch进行transformer，通过一个attention 196 * 64 ，可以将原本的图像不同patch的信心合并到不同的类别patch中，因此就实现了grou

最低0.47元/天 解锁文章
论文阅读-GroupViT：Semantic Segmentation Emerges from Text Supervision（语义分割CVPR2022）
一位不是很硕的鉴伪方向硕士
10-31 2423
GroupViT 的核心思想是利用了深度学习之前无监督分割的 grouping 思想。当时的做法大概是在确定某个中心点之后，不断向外发散，将接近的点都分到一个 group 中，最终发散完毕，得到分割结果。在 GroupViT 中的 grouping 是将 ViT 中的图像块 token进行分配，分配到不同的语义类别 token 上。
GroupViT 学习笔记
jacke121的专栏
04-13 5008
GroupViT 架构 GroupViT 包含按阶段分组的 Transformer 层的分层结构，每个阶段会处理逐渐放大的视觉片段。右侧的图像显示了在不同分组阶段要处理的视觉片段。在初期阶段模型将像素分组为局部对象，例如大象的鼻子和腿。在更高的阶段进一步将它们合并成整体，例如整个大象和背景森林。 每个分组阶段都以一个分组块结束，该块会计算学习到的组标记和片段（图像）标记之间的相似度。相似度高的组会分配给同一组的段标记并合并在一起，并做进入下一个分组阶段的新段标记。 GitHub - NVlabs/Gr
Group ViT（Semantic Segmentation Emerges from Text Supervision）
weixin_45104951的博客
09-27 2765
让模型在最初的时候能将周围相邻相似的像素点group起来，变成Segmentation mask。Group ViT的贡献就是在也有的ViT模型中加入Grouping Block，同时加入了可学习的Group Tokens。
CLIP改进工作之Group VIT（使用了CLIP的目标函数自己做的训练模型）的局限性启发
weixin_53618407的博客
07-24 1581
作者为了尽可能的提高前景类的分割性能，因此就设置了一个相似度的阈值，比如说对于pascal voc这个数据集来说，它的阈值就设置成了0.9和0.95 ，也就是说grouping embedding和文本的相似度必须超过0.9，而且是取得最大的那一个，这样才能说grouping embedding属于这一类。但是这套方案对于pascal voc来说还好，因为本来的类别数就少，而且这个数据集里面就是实打实的物体，这个物体有非常明确的语义信息，因此不太存在这个背景类的干扰的问题。
图片速览 GroupViT: Semantic Segmentation Emerges from Text Supervision
ResumeProject的博客
09-25 755
根据ViT[24]的设计，我们首先将输入图像分割成N个不重叠的块，并将每个块线性投影到一个潜在空间。我们将每个投影面片视为一个输入图像标记，并将它们的集合表示为。根据ViT[24]的设计，我们首先将输入图像分割成N个不重叠的块，并将每个块线性投影到一个潜在空间。在每个分组阶段，除了图像标记外，我们连接一组可学习的组标记，并将它们输入到该阶段的Transformer中。在每个分组阶段，除了图像标记外，我们连接一组可学习的组标记，并为该阶段将它们输入Transformer。
【开放词汇分割】GroupViT: Semantic Segmentation Emerges from Text Supervision
cjy_colorful0806的博客
06-25 1401
在视觉场景理解中，分组和识别是关键的任务，常见于目标检测和语义分割等应用。传统的深度学习方法通常依赖于像素级的标注，通过全卷积网络（Fully Convolutional Networks, FCNs）直接在输出层进行像素级的分类。然而，这些方法存在两个主要问题。
论文阅读——GroupViT
weixin_43575791的博客
12-13 1663
图片分成不重叠的N个块，每个块经过线性映射变成 image token，除了 image tokens ，每个grouping stage同时concat一组可学习的group tokens,image token和group tokens都输入Transformer层。双编码器结构，GroupViT是图片编码器，Transformer是文本编码器，最终GroupViT输出的图片向量是所有输出的分割token的平均向量。Grouping Block的作用是把小块组合成大块，每个阶段都有该模块。
CVPR2022 做语义分割不用任何像素标签，UCSD、英伟达在ViT中加入分组模块
我爱计算机视觉
03-16 1439
关注公众号，发现CV技术之美本文转自机器之心。生成效果的确很惊艳。视觉场景是由有语义意义的像素组构成。在深度学习的概念出现之前，业界就已经使用经典的视觉理解方法对像素分组和识别进行深入研究...
论文阅读：Improving Semantic Segmentation via Decoupled Body and Edge Supervision
jxloveysq的博客
09-26 1049
版权声明：本文为优快云博主「小苑同学」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.youkuaiyun.com/yuansiming0920/article/details/111303192 存在的问题：（1）随着神经网络的深度增加，FCN的感受野生长比较缓慢，受限的RF（感受野）不能建立图像上像素之间的longer-range关系。因此由于目标身体内部模棱两可和噪音的产生使得像素很难去分类。 目前的解决方法：扩大感受野，如增加ASPP
【论文阅读】多模态——GroupViT
最新发布
m0_58701995的博客
03-02 1331
8. 计算图像嵌入和文本嵌入的相似度（通过点乘），将匹配的图像-文本对作为。
GroupVit：semantic segmentation emerges from text gemeration
liguandong
09-17 346
grouping block其实就是用了类似于self-attention的方式先算了一个相似度矩阵，然后利用相似矩阵帮助原来的image token做一些聚类中心的分配，从而把输入从196x384降到64x384，聚类中心的分配是不可导的，因此用了sumbel softmax变成可导。groupvit的监督信号来自于文本，它不依赖于segmentation mask手工标注，而是可以像clip一样利用图像文本对进行无监督训练，从而让模型进行简单的分割任务。
CVPR2022-CVPR-GroupVit：由文本监督的语义分割生成的
计算机视觉
10-16 825
groupvit
CLIP后续--LSeg，GroupViT，ViLD，CLIPasso
Zosse的博客
11-27 2175
这个博客开了有两个月，一直没写成，最近封寝给它完成~躺平第三天。
LSeg、GroupViT模型原理
m0_62790681的博客
02-11 414
CLIP在分割领域一些的迁移应用模型原理
《GroupViT: Semantic Segmentation Emerges from Text Supervision》论文解读
qq_46981910的博客
07-13 1186
在深度网络中超越规则形状的图像网格，引入了一种新的GroupViT架构，以将视觉概念进行分层自底向上的分组为不规则形状的Group。 没有任何像素级标签和训练，只有使用对比损失的图像级文本监督，GroupViT成功地学会了将图像区域分组在一起，并以零样本的方式迁移到几个语义分割词汇表。 据我们所知，本文是在不使用任何像素标签的情况下，探索从文本监督单独到几个语义分割任务的零样本迁移的第一项工作，并为这项新任务建立了强大的基线。
GroupViT论文阅读
qq_43579670的博客
06-06 794
利用hard assignment（或者soft assignment）计算group token（gl） 和segment token（si）的相似性。为什么会有更少的grouping token？group token（gi） &segment token（si）=>新的segment token（si+1）2.怎么引入的grouping machanism？4.怎么利用的image-level text？怎么设计的实验，怎么对方法的有效性进行验证的。线性投影的权重是从哪里学的？
探索前沿视觉技术：NVlabs的GroupViT
gitblog_00072的博客
04-25 512
探索前沿视觉技术：NVlabs的GroupViT 在深度学习领域，尤其是计算机视觉中，Transformer架构已经在图像识别、分割和生成任务上展现了强大的潜力。由NVIDIA NVlabs开发的GroupViT是一个创新性的项目，它将Transformer的注意力机制与卷积神经网络（CNN）的优势相结合，以提高模型对复杂视觉场景的理解能力。 项目简介 GroupViT是针对大规模图像分类任务的一...
soft assignment 和 hard assignment
hxyzs的博客
10-07 1433
"Soft assignment" 和 "hard assignment" 是在聚类和分类任务中常用的两种不同的分配方式，它们决定了数据点属于哪个类别或簇的方式。中，每张图像可以以一定的概率同时属于多个类别。软分配可以更好地处理复杂的数据情况，其中一个数据点可能不完全属于一个类别，或者可能属于多个相关类别。中，每张图像只能属于一个类别（例如，猫或狗），考虑一个图像分类任务。
Transformers 4.37 中文文档（八十七）
龙哥盟
06-22 847
原文：huggingface.co/docs/transformers GroupViT 原文：huggingface.co/docs/transformers/v4.37.2/en/model_doc/groupvit 概述 GroupViT 模型是由 Jiarui Xu、Shalini De Mello、Sifei Liu、Wonmin Byeon、Thomas Breuel、Jan Kautz、Xiaolong Wang 在GroupViT: Semantic Segmentation Eme
railroad is not a train: saliency as pseudo-pixel supervision for weakly supervised semantic segmentation
04-11
这篇论文的主要内容是介绍了一种新的弱监督语义分割方法，即使用伪像素监督训练模型。其中，论文拿“railroad is not a train”的例子说明了弱监督下的语义分割问题，给出了具体的解决方法，并取得了较好的效果。
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值