CV-掩码模型：MAE、SimMIM

已于 2022-12-12 17:18:17 修改
阅读量473 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： # CV/基于掩码的学习 文章标签： 深度学习 人工智能
于 2022-12-12 15:50:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u013250861/article/details/128288418
本文介绍了SimMIM——一种基于VIT的简单掩码图像建模框架。该工作由微软亚研院提出，并提供了PyTorch实现代码。文章探讨了自监督学习下掩码技术的应用及其实现细节。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

MAE发布以来，各种使用掩码技术的自监督掩码模型在其基础之上有了更进一步的研究。在本文中我们将探索一篇和MAE同期的工作：SimMIM: A Simple Framework for Masked Image Modeling，研究团队是微软亚研院，并在PyTorch中编写它，最后我们也会提供相关的代码。

SimMIM的骨干网络是VIT，熟悉自监督学习的基础知识也非常有帮助，最后我们还要精通PyTorch，因为我们使用它来实现我们的模型。

更简单的掩码图像建模框架SimMIM介绍和PyTorch代码实现

Masked AutoEncoders (MAE) 原理与代码实例讲解：重建被掩码的图像来学习有效的视觉表示
AI天才研究院
06-02 1655
Masked AutoEncoders (MAE) 是一种自监督学习方法，由何恺明等人在2021年提出。这种方法在计算机视觉领域引起了广泛关注，特别是在图像表示学习方面。MAE的核心思想是通过重建被掩码的图像来学习有效的视觉表示。自监督学习在NLP领域的成功（如BERT）视觉领域对高效自监督学习方法的需求Transformer架构在计算机视觉任务中的应用理解MAE的背景有助于我们更好地把握其设计思路和重要性。
【图像去噪】论文精读：TTT-MIM: Test-Time Training with Masked Image Modeling for Denoising Distribution Shifts
最新发布
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
04-05 227
论文题目：TTT-MIM: Test-Time Training with Masked Image Modeling for Denoising Distribution Shifts —— TTT-MIM:带掩模图像建模的测试时间训练去噪分布偏移ECCV 2024！端到端训练的神经网络为图像去噪提供了最先进的性能。然而，当应用于训练分布之外的图像时，性能通常会显着下降。在这项工作中，我们提出了一种基于掩模图像建模(MIM)的测试时间训练(TTT)方法来提高分布外图像的去噪性能。该方法称为。
【自监督论文阅读笔记】Simmim: A simple framework formasked image modeling
YoooooL_的博客
10-20 1730
本文介绍了，这是一个的简单框架。本文简化了最近提出的相关方法，，例如通过离散 VAE 或聚类 进行 block-wise 分块级的掩码 和 tokenization。为了研究，本文系统地研究了本文框架中的主要组件，并发现 每个组件的简单设计 都显示出 非常强的表示学习性能：1）中等大小的掩码patch（例如，32）是一个；2)直接回归原始像素的 RGB 值；3）预测头轻，。
MAE同期工作，MSRA新作SimMiM：掩码图像建模，赶在内卷前的新方向！
wqthaha的专栏
06-06 1114
SimMiM，遮挡图像建模有一篇大作，MAE同期作品，CVPR2022被接收文章。
CV-掩码学习-模型-2021：MAE【在NLP和CV两大领域之间架起了一座更简便的桥梁】
u013250861的博客
12-12 351
同样，我们的MAE重建的像素不是语义实体。然而，我们观察到（如图4），我们的MAE推断出复杂的整体重建，表明它已经学习了许多视觉概念，即语义。直观点讲，就是事先遮住一些文本片段，让AI模型通过自监督学习，通过海量语料库的预训练，逐步掌握上下文语境，把这些被遮住的片段，用尽可能合乎逻辑的方式填回去。现在，何恺明的这篇文章把NLP领域已被证明极其有效的方式，用在了计算机视觉（CV）领域，而且模型更简单。此前，大名鼎鼎的GPT和BERT已经将大型自然语言处理（NLP）模型的性能提升到了一个新的高度。
续何恺明的MAE后！MSRA提出掩码图像建模新框架：SimMIM
阿木寺的博客
11-20 1090
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达、作者：机智勇敢萌刚刚|已授权转载（源：知乎）https://zhuanlan.zhihu.com/p/4353...
Masked Image Modelling（MAE，iBOT，Data2vec，SimMIM，CAE，BEVT）
nakaizura
02-13 7082
这篇文章主要整理kaiming大神所提出的MAE，和一些有代表性的变体模型。 Masked Autoencoders Are Scalable Vision Learners 在iGPT和BEiT的基础上，化繁为简，找出了最关键的点，能够让BERT式预训练在CV上也能训到很好！ 在预训练期间，大比例的随机的图像块子集（如 75%）被屏蔽掉。编码器用于可见patch的小子集。在编码器之后引入掩码标记，并且完整的编码块和掩码标记集由一个小型解码器处理，该解码器以像素为单位重建原始图像。 MAE 是一种简单的自.
对比学习论文解读|MR-MAE：用特征模拟增强屏蔽自动编码器
sinat_38225756的博客
08-08 423
掩模自编码器(MAE)是一种流行的大规模视觉表征预训练方法。然而，MAE仅在解码器之后重建低级RGB信号，缺乏对编码器高级语义的监督，因此存在次优学习表征和较长的预训练时间。为了缓解这一问题，以前的方法只是用预训练图像(DINO)或图像语言(CLIP)对比学习的编码特征替换75%的掩码标记的像素重建目标。与这些研究不同的是，我们提出了先模仿后重建的掩膜自编码器，称为MR-MAE，它在预训练过程中不受干扰地共同学习高级和低级表征。
TPAMI 2024 | 先模仿再重建：通过特征模仿增强掩码自编码器
小白学视觉
07-05 262
掩码自编码器（MAE）已成为大规模视觉表示预训练的流行范式。然而，MAE仅在解码器之后重建低级RGB信号，并且对编码器的高级语义缺乏监督，因此学习到的表示不够理想，预训练周期也较长。为了缓解这个问题，之前的方法简单地用预训练的图像对比学习（DINO）或图像-语言（CLIP）对比学习中编码的特征替换了75%掩码标记的像素重建目标。与这些努力不同，我们提出了一种在掩码自编码器之前模仿的方法，称为MR-MAE，它在预训练期间联合学习高级和低级表示，而不会产生干扰。
Florence-2：推进多种视觉任务的统一表征 [论文解读]
强化学习曾小健
09-27 1840
我们推出了Florence-2，这是一种新颖的视觉基础模型，具有统一的、基于提示的表示，可用于各种计算机视觉和视觉语言任务。虽然现有的大型视觉模型在迁移学习方面表现出色，但它们难以用简单的指令执行各种任务，这种能力意味着处理各种空间层次和语义粒度的复杂性。Florence -2旨在将文本提示作为任务指令，并以文本形式生成理想的结果，无论是字幕、对象检测、基础还是分割。这种多任务学习设置需要大规模、高质量的注释数据。为此，我们共同开发了FLD-5B，它包含 1.26 亿张图像上的 54 亿条综合视觉注释，使用
opencv图像处理学习（二十三）——掩码
图像学习之旅
04-01 4573
图像的掩码操作是指通过掩码核算子重新计算图像中各个像素的值，掩码核算子刻画邻域像素点对新像素值的影响程度，同时根据掩码算子中权重因子对原像素点进行加权平均。图像掩码操作常用于图像平滑、边缘检测及特征分析等领域，opencv中常用的计算图像掩码的操作有下面两种。 <1>基于像素邻域遍历 对于源图像数据f（x，y），卷积核算子为3x3，计算源图像数据4邻域均值掩码可通过下式来完成。 ...
OpenCV（4）矩阵掩码操作/像素算数、逻辑操作 C++
soinlove36的专栏
08-22 613
1. 矩阵上的掩码操作 1.1.（cv :: filter2D）矩阵上的掩码操作 1.2.（cv :: CV_Assert） 确保输入图像数据是unsigned char格式 图像对比度增强方法的问题。基本上我们要为图像的每个像素应用以下公式： I(i,j) = 5 * I(i,j) – [ I(i-1,j) + I(i+1,j) + I(i,j-1) + I(i,j+1)]， I(i,j) ：表示目标像素点；i ：表示像素点的横坐标；j ：表示像素点的纵坐标I(i-1,j) 、I(i+1,
GreenMiM：接地气的MiM，强强联合Swin Transformer和何凯明的MAE，没有大显卡也能跑起来
wqthaha的专栏
06-08 1227
文章提出了一种针对MiM（Masked image modeling，遮挡图像建模）采用分层ViT如SwinT的有效方法
OpenCV学习笔记09_掩码操作(卷积操作)
qq_40595787的博客
11-02 2239
掩码操作 根据掩码矩阵（也称作核）重新计算图像中每个像素的值。掩码矩阵中的值表示近邻像素值(包括该像素自身的值)对新像素值有多大影响。从数学观点看，我们用自己设置的权值，对像素邻域内的值做了个加权平均。 图像的掩码操作是指通过掩码核算子重新计算图像中各个像素的值，掩码核算子刻画领域像素点对新像素值得影响程度，同时根据掩码算子中权重因子对像素点进行加权平均。图像掩码操作常用于图像平滑、边缘检测、特征分析等区域。 具体思路为8邻域的像素点与本身像素点作加权运算(kernel size：3x3) 实现方式(三通道
更简单的掩码图像建模框架SimMIM介绍和PyTorch代码实现
deephub
08-07 4367
在本文中，我们介绍 SimMIM，这是一种受掩码建模启发的强大 SSL 算法，其中一部分输入数据被掩码，模型的目标是最小化重建损失。为了更熟悉模型的运行方式我们还是用Pytorch对其进行了实现 ，这样可以帮助我们了解模型的细节。引用：作者：Borna Ahmadzadeh。...
Opencv学习笔记之使用图像掩码
qq_36536126的博客
05-01 1606
掩码是一个8位图像，如果掩码中某个位置的值不为0，在这个位置上的操作不起作用；如果掩码中某些像素位置为0，那么对图像中相应位置的操作将不会起作用。 #include&lt;opencv2/core.hpp&gt; #include&lt;opencv2/highgui.hpp&gt; cv::Mat image1,logo; int main(int argc, char** argv) { im...
探索SimMIM：微软开源的大规模预训练模型新星
gitblog_00051的博客
04-25 472
探索SimMIM：微软开源的大规模预训练模型新星 SimMIMThis is an official implementation for "SimMIM: A Simple Framework for Masked Image Modeling".项目地址:https://gitcode.com/gh_mirrors/si/SimMIM 在自然语言处理领域，大规模预训练模型如BERT、GPT...
OpenCV 图像运算（权重、逻辑运算、掩码、位分解、数字水印、马赛克）
m0_74154295的博客
11-07 3734
图像的权重、逻辑运算、掩码、位分解、数字水印。 总的来说，`plane = ((img >> i) & 1) * 255`更适合于可视化位平面的内容，不适用于重新复原图片；而`plane = ((img >> i) & 1) * (2**i)`更适合于保留位平面的原始权重。最低有效位信息隐藏技术在图像隐写领域得到广泛应用，可以用于保护敏感信息的安全传输。然而，需要注意的是，最低有效位信息隐藏是一种相对简单的隐藏方法，容易被一些隐写分析算法所检测。因此，在实际应用中，可能需要采用更复杂的隐写技术以提高隐蔽
【自监督-MIM】系列方法学习二
Jeremy_lf的博客
06-24 1609
Masked image modeling 是一种训练深度学习模型的技术，尤其是在视觉领域，类似于自然语言处理中的掩码语言建模（Masked Language Modeling）。它通过在输入图像中随机遮挡（或称为掩码）部分区域，然后训练模型来预测这些被遮挡部分的内容，从而提高模型的视觉理解能力。Masked image modeling 主要用于视觉自监督学习（Visual Self-Supervised Learning）任务，帮助模型学习图像的内在结构和表示，而无需依赖大量的标注数据。
子网掩码计算器-v1.0：网络环境快速部署工具
子网掩码是网络配置中的一个核心概念，它用于划分一个网络的主机部分和网络部分。在给定的文件信息中，我们可以看到涉及到了一个子网掩码计算器工具，这个工具的主要功能是帮助用户根据自己的网络需求，快速准确地...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值