Masked Autoencoders Are Scalable Vision Learners | MAE 阅读笔记&部分翻译

最新推荐文章于 2025-10-15 20:49:06 发布
原创 最新推荐文章于 2025-10-15 20:49:06 发布 · 3.1k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#计算机视觉 #人工智能 #深度学习 #transformer #图像识别

Facebook AI Research的研究者提出了一种简单且可扩展的掩码自编码器（MAE），通过在视觉任务中屏蔽大部分输入并重建，促进了大型模型的训练效率和准确性。MAE利用非对称编码器-解码器结构和轻量级解码器，能在ImageNet-1K数据上显著提升ViT模型性能，展现出在对象检测等任务中的优秀迁移学习能力。

Masked Autoencoders Are Scalable Vision Learners

Author Unit: Facebook AI Research (FAIR)

Authors: Kaiming He ∗ , † ^{∗,†} ∗,† Xinlei Chen ∗ ^∗ ∗ Saining Xie Yanghao Li Piotr Dollár Ross Girshick

Conference: arXiv:2111.06377v1 [cs.CV] 11 Nov 2021

Paper address: https://arxiv.org/abs/2111.06377

bilibili_limu: https://www.bilibili.com/video/BV1sq4y1q77t

Notion 版本的笔记

假设你的算法特别快，就把标题里面放 efficient；假设你做的东西比较大，就叫 scalable。 —李沐

💡 这里 Autoencoder 中的 Auto 不是指自动的意思，而是“自”，也就是训练样本 x 和标签 y 都是 x 本身。

💡 写论文的时候可以考虑用类似的标题样式，即 ** 是 **，就像这篇文章的标题，很好的将自己的工作浓缩成了一句简短的话。

Abstract

本文表明，masked autoencoders (MAE) 是用于计算机视觉的可扩展自监督学习器。我们的 MAE 方法很 simple：我们屏蔽输入图像的随机块并重建丢失的像素。它基于两个核心设计。首先，我们开发了非对称的编码器 - 解码器架构，其中编码器仅对可见的补丁 patches 子集（没有掩码标记）进行操作，以及一个轻量级的解码器，可从潜在表征 latent representation 和掩码标记 mask tokens 重建原始图像。其次，我们发现屏蔽大部分输入图像（例如 75%）会产生重要且有意义的自监督任务。将这两种设计结合起来使我们能够高效地训练大型模型：我们加速了训练（3 倍或更快）并提高了准确性。我们的可扩展方法允许学

最低0.47元/天 解锁文章
Masked Autoencoders Are Scalable Vision Learners（论文翻译）
MJ17709005513的博客
04-26 932
摘要 本文证明了掩蔽自动编码器(MAE)是一种可伸缩的计算机视觉自监督学习器。我们的MAE方法很简单：我们掩蔽输入图像的随机块并重建丢失的像素。它基于两个核心设计。首先，我们开发了一个非对称编解码器体系结构，编码器只在可见的patch子集上操作(没有掩码tokens)，以及一个轻量级的解码器，它根据潜在的表示和掩码tokens重建原始图像。其次，我们发现，掩蔽高比例的输入图像，例如75%，会产生一个不平凡且有意义的自我监督任务。将这两种设计结合起来，使我们能够高效地训练大型模型：我们将训练...
AI论文精读笔记-Masked Autoencoders Are Scalable Vision Learners(MAE)
小菜的博客
07-15 1108
MAE论文精读笔记
【翻译】 Masked Autoencoders Are Scalable Vision Learners
jokerwu192的博客
12-25 624
文章目录摘要1.介绍2.相关工作3.方法4.Imagenet实验4.1. 主要属性4.2. 与之前结果的比较4.3. 局部微调5.迁移学习实验6.讨论与结论 论文链接：https://arxiv.org/pdf/2111.06377v3.pdf 摘要 本文表明，掩码自编码器(MAE)是用于计算机视觉的可扩展自监督学习器。我们的MAE方法很简单：我们屏蔽输入图像的随机块并重建丢失的像素。它基于两个核心设计。首先，我们开发了一个非对称编码器-解码器架构，其中一个编码器只对可见的补丁子集进行操作（没有掩码标记），
【MAE】Masked Autoencoder 详解
最新发布
qq_64164673的博客
10-15 1652
可见patches：真实patch →（线性投影） →+ pos_emb→encoder→latent被mask的patches被丢弃→ 用可学习的mask_token对应位置的→ 作为解码器输入位置编码的实现：一个共享的[196, d]的可学习参数表。无论是可见patch的token还是被mask patch的mask_token，都使用其所在位置对应的向量，通过向量加法融入位置信息。
Masked Autoencoders Are Scalable Vision Learners(屏蔽自编码器是可扩展的视觉学习器)--文献翻译和笔记
qq_42014059的博客
12-20 2382
MAE的方法比较简单：对输入图片进行随机块的mask，然后对mask块中的像素进行重构。核心设计主要是源于两点。   第一，设计了非对称的编码器和解码器架构，其中编码器仅对没有进行mask的区域进行编码，解码器是轻量级的，能够重构原始的图片。   第二，如果对图片中绝大多数的区域进行mask，比如75%，就会得到一个很有意义的自监督任务。更加有效地训练大模型，如训练速度提升3倍   在ViT-Huge的模型中仅仅使用100W的数据就能得到(87.8）的准确率。在下游任务进行迁移学习的效果优于有监督的预训练。
MAE：Masked Autoencoders Are Scalable Vision Learners阅读笔记
weixin_43904899的博客
11-21 2634
2021年11月11日当天挂在arXiv上的文章，何凯明的一作，在发布后不久马上拜读了一下，在此记录一下。 Introduction 随着硬件的发展，如今的模型可以轻易在数以百万计的数据集上取得过拟合的效果。这一点在NLP的自监督预训练中取得巨大的成功，无论是自回归模型GPT-3还是masked autoencoding的BERT，都通过移除然后学习预测部分数据完成训练，可以借此训练泛化性优异的参数超过千亿的模型。 Masked autoencoding，一种更为通用的...
Masked Autoencoders
不要錯過才珍惜
12-28 821
在 ViT 模型中我们也知道了他想要有超过 CNN 的效果的话就需要在超大数据集上进行预训练，在 ImageNet 1K 的效果其实并没有 ResNet 好。这样的话，如果我们需要重新对 ViT 进行训练的话，他的效率是不高的。于是这篇 MAE 在 ViT 的方法上进行了优化，让我们能够在 ImageNet 1K 上也取得较好的效果。当然我们也可以简单的把 MAE 理解为 CV 界的 BERT 模型。下图就简单的介绍了 MAE 的操作是怎么样的。
Masked Autoencoders Are Scalable Vision Learners (MAE)代码样例
05-27
解压后得到test文件夹，在下面的网址中下载预训练后的模型 https://dl.fbaipublicfiles.com/mae/visualize/mae_visualize_vit_large.pth 将其移动到test/demo中，进入demo文件夹，运行demo.py文件即可
MAE-Masked Autoencoders Are Scalable Vision Learners
11-24
本文介绍了一种名为Masked Autoencoders（MAE）的创新自监督学习模型，该模型由Facebook AI Research (FAIR)的研究人员提出，目的是提高模型的可扩展性和学习效率。 MAE的核心思想来源于自然语言处理领域的BERT模型...
【论文阅读】Masked Autoencoders Are Scalable Vision Learners（MAE）
qq_52852138的博客
04-08 3903
文章目录1.Abstract2.Introduction3.Approach3.1.Masking3.2.MAE encoder3.3.MAR decoder3.4.重建目标3.5.简单的实施4.ImageNet Experiments5.Main Properties5.1.Masking ratio5.2.Decoder design5.3.Mask token5.4.Reconstruction target5.5.Data augmentation5.6.Mask sampling strategy
论文阅读: Masked Autoencoders Are Scalable Vision Learners掩膜自编码器是可扩展的视觉学习器
shuaijieer的博客
11-14 2708
Masked Autoencoders Are Scalable Vision Learners 掩膜自编码器是可扩展的视觉学习器 作者：FaceBook大神何恺明 一作 摘要： This paper shows that masked autoencoders (MAE) are scalable self-supervised learners for computer vision. Our MAE approach is simple: we mask random patches of the i
【自监督学习】 MAE阅读笔记
echoliuy的博客
09-25 884
MAE论文阅读
[MAE]Masked Autoencoders掩膜自编码器
luemeon的博客
06-20 6475
目录非对称的编码-解码架构：方法 流程编码器解码器Partial Fine-tuning随机遮盖输入图片的子块，重建丢失像素由MAE预训练的模型具有很好的泛化性能编码器的输入为没有被mask的子块；解码器为轻量级（解码器仅在图像重建的预训练中起作用，因此解码器设计可独立于编码器，且灵活和轻量级），输入为编码器的输入和被mask部分的位置信息，输出为待重建的丢失像素的值。与经典自编码器不同之处在于：采用了非对称设计，使编码器仅依赖于 部分观测信息 (无需掩码token信息，BERT需要)，轻量解码器则直接与
Masked AutoEncoders（MAE) Top-1准确率87.8%
m0_63642362的博客
12-04 1486
一种可扩展的计算机视觉自监督学习方法：MAE（masked autoencoders），Paddle版。
MaskedAutoencoders视觉学习器CVPR2022
白景屹的博客
07-14 1344
本文表明，掩码自编码器（MAE）是可扩展的计算机视觉自监督学习器。MAE很简单：我们随机屏蔽输入图像的patches，并重建这些缺失的像素。它基于两个核心设计。首先，我们开发了一种非对称编码器-解码器架构，其中编码器仅在可见的patch子集上运行（没有掩码token），以及一个轻量级解码器，该解码器从隐含表示和掩码token重建原始图像。其次，我们发现mask高比例的输入图像（例如75%）会产生重要而有意义的自监督效果。耦合这两种设计使我们能够高效地训练大型模型。我们的可扩展方法允许学习泛化性良好的大型模型
Masked Autoencoders Are Scalable Vision Learners（MAE）
Pain is inevitable but suffering is optional.
04-05 911
Masked Autoencoders Are Scalable Vision Learners
MAE (Masked AutoEncoder)：更快！更强！还更简单
强化学习曾小健
07-09 1127
本文介绍了在 CV 领域进入 Transformer 时代时具有里程碑意义的方法 MAE，通过随机 Mask 掉图片中较高比例 Patch，然后重构这些 Patch 的像素值，使我们能通过 Self-Supervised Pretraining 方式来预训练图像 Encoder 模型。与传统的 AutoEncoder 不同的是，MAE 采用了非对称设计：Encoder 仅在部分观测到的信号上操作（无需掩码标记），并采用轻量级 Decoder，从潜在表示和掩码标记中重构完整信号。
【论文阅读】MAE：Masked Auto-Encoder（简介+代码+面经）
小苏的博客
05-10 1431
本文介绍了Masked AutoEncoder论文，对模型设计进行了详细描述，给出了算法岗面试中常遇到的问题，并且对pytorch实现进行详细说明。
【点云处理之论文狂读前沿版7】—— Masked Autoencoders for Point Cloud Self-supervised Learning
yuanmiyu6522的博客
05-22 3354
Masked Autoencoders for Point Cloud Self-supervised Learning摘要1.引言 摘要 灵感： NLP和CV中的Masked Autoencoder应用很成功 问题： 点云中存在局部信息缺失和密度不均匀的现象 方法： 使用Masked Autoencoder进行点云自监督学习 细节： ①将输入的点云划分成不规则的点云块，以较高的比率 mask 这些块 ②使用基于autoencoder的标准transformer从这些未被mask的块中学习高维特征，从而重
Masked Autoencoders Are Scalable Vision Learners代码复现
02-26
### 关于Masked Autoencoders Are Scalable Vision Learners论文的代码实现 #### PyTorch 实现 针对《Masked Autoencoders Are Scalable Vision Learners》这篇论文，存在多个开源项目提供了基于PyTorch框架下的实现方案。其中一个较为知名的非官方版本可以在GitHub仓库找到[^3]。 以下是使用PyTorch构建MAE模型的核心组件之一——编码器的部分示例代码： ```python import torch.nn as nn from functools import partial from timm.models.vision_transformer import Block, _cfg class Encoder(nn.Module): """Encoder for MAE""" def __init__(self, img_size=224, patch_size=16, embed_dim=768, depth=12, num_heads=12, mlp_ratio=4., norm_layer=partial(nn.LayerNorm, eps=1e-6), **kwargs): super().__init__() self.patch_embed = PatchEmbed(img_size=img_size, patch_size=patch_size, in_chans=3, embed_dim=embed_dim) num_patches = self.patch_embed.num_patches self.cls_token = nn.Parameter(torch.zeros(1, 1, embed_dim)) self.pos_embed = nn.Parameter(torch.zeros(1, num_patches + 1, embed_dim), requires_grad=False) self.blocks = nn.ModuleList([ Block(dim=embed_dim, num_heads=num_heads, mlp_ratio=mlp_ratio, qkv_bias=True, norm_layer=norm_layer) for i in range(depth)]) self.norm = norm_layer(embed_dim) def forward(self, x, mask=None): B, C, H, W = x.shape x = self.patch_embed(x) # (B, L, D) cls_tokens = self.cls_token.expand(B, -1, -1) x = torch.cat((cls_tokens, x), dim=1) pos_embed = self.interpolate_pos_encoding(x.size(-1)-1, H//self.patch_embed.patch_size[0]) x += pos_embed[:, :x.size(1)] if mask is not None: keep_indices = ~mask.bool() x = x * keep_indices.unsqueeze(-1).float() for blk in self.blocks: x = blk(x) x = self.norm(x) return x @staticmethod def interpolate_pos_encoding(N, h): # Implementation details omitted here. pass ``` 此段代码展示了如何定义一个用于自监督学习任务中的视觉Transformer编码器结构。值得注意的是，在前向传播过程中引入了一个`mask`参数来指示哪些位置应该被遮挡掉不参与计算[^4]。 #### TensorFlow/Keras 实现 虽然原始论文主要采用PyTorch作为实验平台，但在TensorFlow社区也有开发者贡献了相应的Keras风格实现方式。下面给出了一种简化版的解码器模块示意代码片段： ```python import tensorflow as tf from tensorflow.keras.layers import Dense, LayerNormalization, Dropout def decoder_block(input_tensor, hidden_units, dropout_rate=.1): """ A single block within the decoder stack. Args: input_tensor: Input tensor from previous layer or embedding output. hidden_units: Number of units in feedforward network inside this block. dropout_rate: Rate at which to drop activations during training. Returns: Output tensor after applying one transformer decoder block operation. """ attention_output = tf.keras.layers.MultiHeadAttention( key_dim=input_tensor.shape[-1], value_dim=input_tensor.shape[-1], num_heads=8)(input_tensor, input_tensor) attention_output = Dropout(dropout_rate)(attention_output) add_attention = tf.keras.layers.Add()([input_tensor, attention_output]) normalized_addition = LayerNormalization()(add_attention) ffn_output = Dense(hidden_units*4, activation="gelu")(normalized_addition) ffn_output = Dropout(dropout_rate)(ffn_output) ffn_output = Dense(hidden_units)(ffn_output) final_output = tf.keras.layers.Add()([normalized_addition, ffn_output]) final_output = LayerNormalization()(final_output) return final_output decoder_input = tf.random.uniform(shape=(batch_size, sequence_length, feature_dimension)) for _ in range(num_decoder_layers): # Repeat according to desired number of layers decoder_input = decoder_block(decoder_input, feature_dimension) ``` 上述代码实现了单层Decoder Block的功能，并可通过循环堆叠多层形成完整的解码网络。需要注意的是实际应用时还需要考虑与特定数据集适配的具体细节以及优化策略等问题[^5]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值