mask transformer相关论文阅读

原创 已于 2024-01-25 10:44:33 修改 · 2k 阅读 · 25 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #论文阅读 #深度学习

于 2024-01-24 21:48:05 首次发布
本文总结了近期mask-transformer在医学图像分割和目标检测领域的论文，如DETR、MaX-DeepLab等，强调了端到端模型的优势，包括消除人工设计组件和代理子任务。MaskFormer和Mask2Former致力于统一分割任务，而kMaX-DeepLab则改进了Transformer以适应视觉任务的特性。

前面讲了mask-transformer对医学图像分割任务是非常适用的。本文就是总结一些近期看过的mask-transformer方面的论文。
因为不知道mask transformer是什么就看了一些论文。后来得出结论，应该就是生成mask的transformer就是mask transformer。
相关论文：
1.DETR(eccv2020):https://link.springer.com/chapter/10.1007/978-3-030-58452-8_13
2.MaX-Deeplab(CVPR 2021):https://openaccess.thecvf.com/content/CVPR2021/html/Wang_MaX-DeepLab_End-to-End_Panoptic_Segmentation_With_Mask_Transformers_CVPR_2021_paper.html
3.MaskForm(NeurIPS 2021):https://papers.nips.cc/paper/2021/file/950a4152c2b4aa3ad78bdd6b366cc179-Paper.pdf
4.Mask2Form(CVPR2022):https://ieeexplore.ieee.org/document/9878483
5.kMaX-DeepLab(ECCV2022):https://link.springer.com/chapter/10.1007/978-3-031-19818-2_17

DETR

很多这些论文都是受到DETR的启发得到的。DETR为数不多的目标检测里端到端的模型，它把目标检测看作集合预测问题，不需要人为一些先验和调参，没有了NMS，让模型训练和部署变得容易。

最低0.47元/天 解锁文章
鱼小丸
关注
【论文阅读】Maskformer：Per-Pixel Classification is Not All You Need for Semantic Segmentation
轻舟的万重重山
11-07 2925
作者知乎亲自写的简介、《MaskFormer：使用Mask分类实现语义分割》pixel-level module：用来提取每个像素embedding（灰色背景部分）transformer module：用来计算N个segment的embedding（绿色背景部分）segmentation module：根据上面的per-pixel embedding和per-segment embedding，生成预测结果。（蓝色背景部分）
【论文笔记】MaskFormer: Per-Pixel Classification is Not All You Need for Semantic Segmentation
bikahuli的博客
12-19 1万+
论文地址：https://papers.nips.cc/paper/2021/file/950a4152c2b4aa3ad78bdd6b366cc179-Paper.pdf 项目地址：https://github.com/facebookresearch/MaskFormer 现在的方法通常将语义分割制定为per-pixel classification任务，而实例分割则使用mask classification来处理。 本文作者的观点是：mask classification完全可以通用，即可以使用..
【Transformer】maskformer论文与代码梳理
最新发布
胡侃有料的博客
10-15 909
maskformer论据梳理简单说：之前的“分割”任务，大多数是对每个像素进行分类.而maskformer将其分开来看，一个是分类预测，一个掩码预测。
【深度学习】语义分割:论文阅读：（2021-12）Mask2Former
zhe470719的博客
06-04 9689
论文：Masked-attention Mask Transformer for Universal Image Segmentation 代码： 官方-代码 代码视频： b站论文讲解笔记参考： 翻译版Mask2Former在MaskFormer的基础上，本文的改进呢**主要是mask attention还有high-resolution features，**本质上是一个金字塔，剩下的一些关于训练上的还有optimization上改进呢，能够提高训练速度 masked attention 我们知道dec
[论文阅读] Maskfomer
weixin_51058694的博客
11-10 304
用mask classfication的方法step1: 把图像分为K个区域（k不一定需要等于类别数），这个region可以用mask（取值0-1）来表示。被遮住的不算这个区域内，没有被遮住的图像部分就是这个regionstep2：将每个区域作为一个整体与 K +1个类别上的某种分布相关联（其实就是softmax求概率），K+1是为了添加一个no-object类，表示某个region不属于class中的任何一类step3：定义出gd类（根据gd得出的，mask and label）
Transformer 中的mask
To be a better man
05-24 9330
简单聊聊transformer里的mask ——转载自链接一 1.padding mask 在encoder和decoder两个模块里都有padding mask，位置是在softmax之前，为什么要使用padding mask，是因为由于encoder和decoder两个模块都会有各自相应的输入，但是输入的句子长度是不一样的，计算attention score会出现偏差，为了保证句子的长度一样所以需要进行填充，但是用0填充的位置的信息是完全没有意义的（多余的），经过softmax操作也会有对应的输..
【论文笔记】Mask2Former: Masked-attention Mask Transformer for Universal Image Segmentation
热门推荐
bikahuli的博客
12-17 2万+
本文提出了用于通用图像分割（全景、实例或语义）的 Masked-attention Mask Transformer (Mask2Former)。 Mask2Former建立在一个简单的元框架 （MaskFormer）和一个新的 Transformer 解码器上，其关键组成部分为掩码注意力（Masked-attention），通过将交叉注意力限制在预测的掩码区域内来提取局部特征。 与为每个任务（全景、实例或语义）设计专门模型相比，Mask2Former 节省了 3 倍的研究工作，并且有效节省计算资源。 M.
Swin transformer 论文阅读记录 & 代码分析
qq_42563807的博客
12-19 1482
该篇文章，是我解析 Swin transformer 论文原理（结合pytorch版本代码）所记，图片来源于源paper或其他相应博客。代码也非原始代码，而是从代码里摘出来的片段，配上简单数据，以便理解。当然，也可能因为设置数据不当，造成误解，请多指教。刚写了一部分。先发布。希望多多指正。Figure 1.
【论文阅读】【3D场景点云分割】Mask3D: Mask Transformer for 3D Semantic Instance Segmentation
Grey_OnO的博客
09-02 2803
第一种真正基于 Transformer 的三维点云实例语义分割方法
三十六章：Masked-attention Mask Transformer for Universal Image Segmentation——注意力掩码Transformer用于通用图像分割
ADICDFHL的博客
07-24 1671
图像分割将具有不同语义的像素进行分组，例如类别或实例成员关系。每种语义选择都定义了一个任务。尽管每个任务的语义不同，但当前的研究集中于为每个任务设计专门的架构。我们提出了一种新的架构，称为Masked-Attention Mask Transformer（Mask2Former），它能够处理任何图像分割任务（全景、实例或语义）。其关键组件包括掩码注意力，通过将交叉注意力限制在预测的掩码区域内，提取局部特征。除了将研究工作量减少至少三倍外，它在四个流行数据集上的表现也远远超过了最佳专门架构。特别值得注意的是，
【深度学习】语义分割：论文阅读（NeurIPS 2021）MaskFormer: per-pixel classification is not all you need
zhe470719的博客
06-01 6417
目录详情知识补充语义分割实例分割动机Related WorksPer-pixel classification formulationMask classification formulationMaskFormerPixel-level moduleTransformer moduleSegmentation module掩膜分类推理语义推理 详情 论文：Per-Pixel Classification is Not All You Need for Semantic Segmentation / Mas
Muse：采用mask transformer的图像生成模型
zephyr_wang的博客
06-09 2208
本文根据google research 团队2023年1月的《Muse: Text-To-Image Generation via Masked Generative Transformers 》翻译总结的。图像生成有GAN、扩散（diffusion）、自回归模型等，而Muse采用mask图像的建模方法，非扩散、非自回归。给定从预训练大预言模型（LLM）中提取的文本embedding，Muse是被训练来预测随机mask的图像token。
理解Transformer中mask操作
lixiao2112924629的博客
06-16 4736
理解深度学习中transformer结构的mask操作
ECCV 2022 | k-means Mask Transformer
CV技术指南（微信公众号）
09-04 3112
在本文中，作者重新思考像素和对象查询之间的关系，并提出将交叉注意学习重新定义为一个聚类过程。受传统k-means聚类算法的启发，开发了一种用于分割任务的k-means Mask Xformer (kMaX-DeepLab)，它不仅改进了最先进的技术，而且具有简单优雅的设计。 kMaX-DeepLab在COCO val set和Cityscapes val set 上实现了新的SOTA的性能，无需测试时间增强或外部数据集。
为什么Transformer解码层需要用mask？
ZHVEH
09-09 1826
关于Transformer的mask问题。
对Transformer中的MASK理解
一步一脚印
11-14 5580
上一篇文章我们介绍了，今天我们来介绍一下对MASK的理解老规矩，还是先放一张Transformer的图片Transformer结构主要分为两大部分，一是Encoder层结构，另一个则是Decoder层结构，而所谓的MASK在Encoder和Decoder两个结构中都有使用。Transformer中的MASK主要分为两部分：Padding Mask和Sequence Mask两部分。
读论文---MaskFormer论文解读
计算机视觉
12-24 1698
这里引用去年知乎上特别火的一个关于语义分割的提问，我们会发现大部分的回答都是停留在像素分类这个框架下讨论语义分割还有什么可以做的。像素分类极大的简化了语义分割，把它从一个分割(segmentation，或者是pixel grouping)的问题变成了一个分类(classification，或者是recognition)的问题。自从Fully Convolution Networks (FCNs)问世以来，语义分割问题就被默认当做一个像素分类问题来解决了(Figure 1 左边图)。
从聚类的角度重新审视 Mask Transformer
人工智能研究所的博客
09-02 1313
鉴于 k-means 聚类算法的流行，在 CMT-DeepLab 中，Google重新设计了交叉注意力，以便空间方面的softmax操作（即沿图像空间分辨率应用的 softmax 操作）在 kMaX-DeepLab 中，Google进一步将空间方式的 softmax 简化为集群方式的softmax（即，沿集群中心应用 softmax 操作）在 CMT-DeepLab 和 kMaX-DeepLab 中，Google从聚类的角度重新制定了交叉注意力机制，包括迭代聚类分配和聚类更新步骤。
Transformer 中 Mask 的那些事
AI研究院
06-11 1386
具体来说，最有效的修改是 N-gram mask 和相似的单词替换，这是对 mask 的语言模型任务的修改。令人惊讶的是，我们发现 40% 的遮蔽概率的输入序列可以优于 15% 的基线，通过对下游任务的微调来衡量可以发现，甚至遮蔽 80% 的字符也可以保留大部分性能。huggingface 中 data allcator 使用的是动态 mask，但不是复制数据，而是每一个 epoch 的 mask 策略都不同，这样就可以达到动态 mask 的效果了，从而使得每一个 epoch 的 mask 的情况都不同。
transformer cnn 论文
03-13
### 关于 Transformer 和 CNN 的学术论文 Transformer 和卷积神经网络（Convolutional Neural Networks, CNNs）是当前深度学习领域中的两大重要架构。以下是关于这两类模型的一些经典和前沿研究工作： #### 经典的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值