MAE论文阅读《Masked Autoencoders Are Scalable Vision Learners》

最新推荐文章于 2025-07-11 16:11:24 发布
原创 最新推荐文章于 2025-07-11 16:11:24 发布 · 733 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读 #深度学习 #计算机视觉

文章介绍了MAE（MaskedAutoencoder），这是一种针对视觉Transformer的无监督预训练方法，类似于NLP中的BERT。MAE通过高比例的patch遮挡和轻量级解码器设计，解决图像信息冗余问题，促进更高级特征的学习。实验表明，MAE在无监督预训练中表现优秀，尤其是在高遮挡率下，且其计算效率较高。

文章目录

Paper: https://arxiv.org/pdf/2111.06377.pdf

动机

首先简要介绍下BERT，NLP领域的BERT是基于Transformer架构，并采取无监督预训练的方式去训练模型。它提出的预训练方法在本质上是一种masked autoencoding，也就是MLM（masked language modeling）：去除数据的一部分然后学习恢复。
在这里插入图片描述
自从ViT火了之后，Transformer架构也可以应用于CV领域中了，一些研究者就开始尝试研究ViT的无监督学习，比如Mocov3用对比学习的方法无监督训练ViT，此外也有一些研究开始借鉴BERT中的MLM方法，比如BEiT提出了用于图像的无监督学习方法： MIM（masked image modeling）。但尽管如此，NLP领域已经在BERT的这种masked autoencoding方法下取得了巨大的进展，而CV领域中在无监督预训练这一块远远落后，主流的无监督训练还是对比学习。其中这种masked autoencoding方法并不是没在图像领域应用过，很早便就出现了，比如Denoising Autoencoders。但是至今却未取得像在NLP领域中的巨大发展。MAE论文对这个问题做了以下分析（参考：视觉无监督学习新范式：MAE）：

  • 图像的主流模型是CNN，而NLP的主流模型是transformer，CNN和tra
最低0.47元/天 解锁文章
MAE 论文《Masked Autoencoders Are Scalable Vision Learners》
like_jmo的博客
08-01 2737
《Masked Autoencoders Are Scalable Vision Learners》，我直呼666
自监督语义分割面模型——(MAE)论文阅读与代码解析
qq_41627642的博客
07-17 3961
本文证明了掩码自编码器(MAE)是一种可扩展的计算机视觉自监督学习算法。我们屏蔽输入图像的随机补丁并重建缺失的像素。它基于两个核心设计。首先，我们开发了一个非对称编码器-解码器架构，其中一个编码器仅对补丁的可见子集(没有掩码令牌)进行操作，以及一个轻量级解码器，该解码器从潜在表示和掩码令牌重建原始图像。其次，我们发现掩盖输入图像的高比例，例如75%，产生了一个重要的和有意义的自我监督任务。这两种设计的结合使我们能够高效地训练大型模型:我们加速了训练(3倍或更多)并提高了准确性。
李沐精读论文：MAE 《Masked Autoencoders Are Scalable Vision Learners》
iwill323的博客
12-21 5270
李沐精读论文：MAE 《Masked Autoencoders Are Scalable Vision Learners》
MAE（CVPR 2022，Meta）论文与代码解析
00000cj的博客
06-20 6817
深度学习在计算机视觉领域取得了显著进展，但随着模型规模的增长，对数据的需求也在增加。在自然语言处理（NLP）领域，通过自监督预训练的方法（如BERT和GPT）成功解决了数据需求问题，这些方法通过预测数据中被遮蔽的部分来训练模型。然而，在计算机视觉领域，尽管存在相关研究，自监督学习方法的发展仍然滞后于NLP。
MAE论文详解
m0_64148253的博客
08-20 2019
MAE是Facebook团队在2021年11月发布的一篇论文，《Masked Autoencoders Are Scalable Vision Learners》，带掩膜的自编码器是可扩展的视觉学习器，MAE就是MaskedAutoEncoders的缩写，一作是何凯明大神。MAE通过在图片上进行掩码实现在CV领域进行大规模的自监督训练，并且仅通过在ImageNet-IK数据集上进行训练实现了最好的准确率，超过了当时的有监督训练方法。接下来对这篇论文进行详细介绍。
Masked Autoencoders Are Scalable Vision Learners (MAE)代码样例
05-27
解压后得到test文件夹，在下面的网址中下载预训练后的模型 https://dl.fbaipublicfiles.com/mae/visualize/mae_visualize_vit_large.pth 将其移动到test/demo中，进入demo文件夹，运行demo.py文件即可
MAE-Masked Autoencoders Are Scalable Vision Learners
11-24
本文介绍了一种名为Masked Autoencoders（MAE）的创新自监督学习模型，该模型由Facebook AI Research (FAIR)的研究人员提出，目的是提高模型的可扩展性和学习效率。 MAE的核心思想来源于自然语言处理领域的BERT模型...
MAE（论文阅读）：Masked Autoencoders are scalable vision learners
m0_54248968的博客
07-21 1758
本文主要介绍了掩码自编码器( MAE, Masked autoencoders)是视觉领域中可扩展的自监督学习算法。MAE具体操作为随机屏蔽输入image中的patchs，再重建丢失的像素。其基于两个核心操作。第一个是建立不对称的编码器-解码器架构，编码器只对没有屏蔽掉的patchs操作，轻量化的解码器通过潜在表示和屏蔽令牌重建原始图像。第二是发现了一种屏蔽图像patchs的高比例，比如75%。结合这两个操作使我们能够高效地训练大模型，加速了训练过程且提高了准确率。在下游任务的迁移性优于有监督的预训练。
精选资源
MAE论文分享，MAE：Masked Autoencoders Are Scalable Vision Learners
04-18
**MAE论文分享：Masked Autoencoders Are Scalable Vision Learners** 在计算机视觉（CV）领域，Transformer架构的应用已经成为一种趋势，从最初的自然语言处理（NLP）领域成功跨越到图像处理。这篇论文“MAE：...
AI论文精读笔记-Masked Autoencoders Are Scalable Vision Learners(MAE)
小菜的博客
07-15 1117
MAE论文精读笔记
MAE论文笔记
charles_zhang_的博客
04-10 3149
MAE论文笔记 Masked Autoencoders Are Scalable Vision Learners MAE模型和其他的结构的关系，可以认为是在ViT的基础上实现类似于BERT的通过完型填空获取图片的理解 标题和作者 Masked Autoencoders Are Scalable Vision Learners 其中的Autoencoders 中的auto是“自”的意思，主要是指输入(x)和输出(y)是来自于同一个变量（相同），题目设置使用Autoencoders 使用为在CV领域这中类型的
MAE 论文逐段精读【论文精读】（深度学习论文篇）
qq_42014059的博客
12-22 5658
源于沐神：MAE 论文逐段精读【论文精读】 (bilibili.com) MAE 2021.11.11提交 arxiv 知乎 百万 view; Reddit or Twitter 讨论不多 MAE 很新 --> 如何在读比较新的文章 获取一些新的研究思路？ 和之前精读论文的关系？ Transformer 一个纯基于注意力机制的编码器和解码器 表现比 RNN 架构好，在机器翻译任务 BERT 使用 一个 Transfor...
论文精读--MAE
m0_73202283的博客
02-18 2381
本文证明了掩码自编码器(MAE)是一种可扩展的计算机视觉自监督学习算法。我们的MAE方法很简单:我们屏蔽输入图像的随机patch并重建缺失的像素。它基于两个核心设计。首先，我们开发了一个非对称编码器-解码器架构，其中一个编码器仅对patch的可见子集(没有掩码令牌)进行操作，以及一个轻量级解码器，该解码器从潜在表示和掩码token重建原始图像。其次，我们发现掩盖输入图像的高比例，例如75%，产生了一个重要的和有意义的自我监督任务。
何恺明一作论文 MAE 已有人复现（Pytorch版）
机器学习社区
12-01 1956
何恺明大佬新作一发出来，知乎上就有众多大佬在讨论 除了大家对何恺明大佬的工作的肯定外（当然部分认为novelty不足），也引发对未来CV工作的思考，是否会引领类似去年 transformer那样子的热潮？亦或是证明ViT的各种改变可能都是没有意义的。 这次何恺明大佬又把握了技术发展的趋势，NLP和CV互相融合的工作看来会是大势所趋。 论文链接：https://arxiv.org/pdf/2111.06377.pdf 复现代码： https://github.com/pengzhiliang/MAE-py
《MAE: Masked Autoencoders Are Scalable Vision Learners》论文精读笔记
最新发布
小小老大MUTA的博客
07-11 1019
《MAE: Masked Autoencoders Are Scalable Vision Learners》基于B站李沐的论文分享专栏的论文精读笔记
基础论文学习（5）——MAE
ZhengrongYue的博客
08-25 3608
基础论文学习（5）——MAE
MAE论文精读，预训练图像
强化学习曾小健
06-08 1695
成功的应用到CV上面以来，就出现了很多相关性的工作，MAE就是其中的一篇。为何采用随机均匀抽样策略：一是避免潜在的“中心归纳偏好”(也就是避免 patch 的位置大多都分布在靠近图像中心的区域)，二是这种策略还造就了稀疏的编码器输入（只处理可见块），能够以更低的代价训练较大规模的 Encoder。需要注意的是，masked tokens不是通过mask 掉的 patch 经过 embedding 转换而来，而是通过一个共享的可学习向量来表示，也就是说每一个被mask的块都表示成同样的向量。
【论文精读】MAE
weixin_44934783的博客
02-20 2134
MAE
【论文视频】MAE 论文逐段精读. 2111.06377【论文精读】
py今天刷题了吗
01-26 728
文章目录1. 四个问题2. 论文介绍3. 参考资料 1. 四个问题 解决什么问题 用ViT来做和BERT一样的自监督学习 用什么方法解决 MAE的途径非常简单，随机地盖住图片中地一些块，然后再去重构这些被盖住的像素，这个思想来自于BERT中的带掩码的语言模型，但是不同之处在于patch是来自图片的一个小块，预测的是这个块中所有的像素 效果如何 还存在什么问题 2. 论文介绍 3. 参考资料 MAE 论文逐段精读【论文精读】:https://www.bilibili.com/vid..
Masked Autoencoders Are Scalable Vision Learners代码复现
02-26
### 关于Masked Autoencoders Are Scalable Vision Learners论文的代码实现 #### PyTorch 实现 针对《Masked Autoencoders Are Scalable Vision Learners》这篇论文，存在多个开源项目提供了基于PyTorch框架下的实现方案。其中一个较为知名的非官方版本可以在GitHub仓库找到[^3]。 以下是使用PyTorch构建MAE模型的核心组件之一——编码器的部分示例代码： ```python import torch.nn as nn from functools import partial from timm.models.vision_transformer import Block, _cfg class Encoder(nn.Module): """Encoder for MAE""" def __init__(self, img_size=224, patch_size=16, embed_dim=768, depth=12, num_heads=12, mlp_ratio=4., norm_layer=partial(nn.LayerNorm, eps=1e-6), **kwargs): super().__init__() self.patch_embed = PatchEmbed(img_size=img_size, patch_size=patch_size, in_chans=3, embed_dim=embed_dim) num_patches = self.patch_embed.num_patches self.cls_token = nn.Parameter(torch.zeros(1, 1, embed_dim)) self.pos_embed = nn.Parameter(torch.zeros(1, num_patches + 1, embed_dim), requires_grad=False) self.blocks = nn.ModuleList([ Block(dim=embed_dim, num_heads=num_heads, mlp_ratio=mlp_ratio, qkv_bias=True, norm_layer=norm_layer) for i in range(depth)]) self.norm = norm_layer(embed_dim) def forward(self, x, mask=None): B, C, H, W = x.shape x = self.patch_embed(x) # (B, L, D) cls_tokens = self.cls_token.expand(B, -1, -1) x = torch.cat((cls_tokens, x), dim=1) pos_embed = self.interpolate_pos_encoding(x.size(-1)-1, H//self.patch_embed.patch_size[0]) x += pos_embed[:, :x.size(1)] if mask is not None: keep_indices = ~mask.bool() x = x * keep_indices.unsqueeze(-1).float() for blk in self.blocks: x = blk(x) x = self.norm(x) return x @staticmethod def interpolate_pos_encoding(N, h): # Implementation details omitted here. pass ``` 此段代码展示了如何定义一个用于自监督学习任务中的视觉Transformer编码器结构。值得注意的是，在前向传播过程中引入了一个`mask`参数来指示哪些位置应该被遮挡掉不参与计算[^4]。 #### TensorFlow/Keras 实现 虽然原始论文主要采用PyTorch作为实验平台，但在TensorFlow社区也有开发者贡献了相应的Keras风格实现方式。下面给出了一种简化版的解码器模块示意代码片段： ```python import tensorflow as tf from tensorflow.keras.layers import Dense, LayerNormalization, Dropout def decoder_block(input_tensor, hidden_units, dropout_rate=.1): """ A single block within the decoder stack. Args: input_tensor: Input tensor from previous layer or embedding output. hidden_units: Number of units in feedforward network inside this block. dropout_rate: Rate at which to drop activations during training. Returns: Output tensor after applying one transformer decoder block operation. """ attention_output = tf.keras.layers.MultiHeadAttention( key_dim=input_tensor.shape[-1], value_dim=input_tensor.shape[-1], num_heads=8)(input_tensor, input_tensor) attention_output = Dropout(dropout_rate)(attention_output) add_attention = tf.keras.layers.Add()([input_tensor, attention_output]) normalized_addition = LayerNormalization()(add_attention) ffn_output = Dense(hidden_units*4, activation="gelu")(normalized_addition) ffn_output = Dropout(dropout_rate)(ffn_output) ffn_output = Dense(hidden_units)(ffn_output) final_output = tf.keras.layers.Add()([normalized_addition, ffn_output]) final_output = LayerNormalization()(final_output) return final_output decoder_input = tf.random.uniform(shape=(batch_size, sequence_length, feature_dimension)) for _ in range(num_decoder_layers): # Repeat according to desired number of layers decoder_input = decoder_block(decoder_input, feature_dimension) ``` 上述代码实现了单层Decoder Block的功能，并可通过循环堆叠多层形成完整的解码网络。需要注意的是实际应用时还需要考虑与特定数据集适配的具体细节以及优化策略等问题[^5]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值