MAE(Masked Autoencoders) 详解

已于 2023-06-06 11:41:47 修改
阅读量8.8k 收藏 67
点赞数 17
分类专栏： 机器视觉 深度学习 文章标签： 计算机视觉 人工智能 深度学习 transformer
于 2023-06-01 17:05:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_36758270/article/details/130977990
版权
MAE（Masked Autoencoders）是一种用于计算机视觉的预训练方法，通过随机mask图像部分并重构来学习表示。该模型采用非对称的编码器-解码器结构，其中编码器仅处理未被mask的patches，解码器负责重建被mask的部分。在ImageNet-1K上，MAE取得了87.8%的准确性，且其简单设计和高效性使其在大规模视觉学习中表现出色。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

MAE详解

0. 引言

masked autoencoders (MAE) 是用于CV的自监督学习方法，优点是扩展性强的（scalable），方法简单。在MAE方法中会随机mask输入图片的部分patches，然后重构这些缺失的像素。MAE基于两个核心设计：（1）不对称的（asymmetric）编码解码结构，编码器仅仅对可见的patches进行编码，不对mask tokens进行任何处理，解码器将编码器的输出（latent representation）和mask tokens作为输入，重构image；（2）使用较高的mask比例（如75%）。MAE展现了很强的迁移性能，在ImageNet-1K上取得了best accuracy（87.8%），且因为方法简单，可扩展性极强（scalable）。
下图展示了MAE在ImageNet验证集上的重建结果。对于每个三元组，左边的图像是被遮挡的，中间的图像是MAE重建的

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Masked AutoEncoders (MAE) 原理与代码实例讲解：重建被掩码的图像来学习有效的视觉表示
AI天才研究院
06-02 1468
Masked AutoEncoders (MAE) 是一种自监督学习方法，由何恺明等人在2021年提出。这种方法在计算机视觉领域引起了广泛关注，特别是在图像表示学习方面。MAE的核心思想是通过重建被掩码的图像来学习有效的视觉表示。自监督学习在NLP领域的成功（如BERT）视觉领域对高效自监督学习方法的需求Transformer架构在计算机视觉任务中的应用理解MAE的背景有助于我们更好地把握其设计思路和重要性。
【计算机视觉】MAE：Masked Autoencoder
LJR的博客
03-24 935
MAE ViT patch fine-tune pretrain encoder decoder linear prob 何恺明提出了一种以编码器模型为骨架（backbone）、以自然语言模型 BERT 中完形填空（MLM）为学习策略的一种用于计算机视觉任务的可扩展（规模可变）的自监督学习模型 Masked AutoEncoders（MAE）。本质上，MAE 是一种在小数据集上高效训练大模型且保证大模型具有良好的泛化能力的自监督预训练方法，目的是训练大型编码器模型。
深度学习之图像分类（十二）Masked Autoencoders Are Scalable Vision Learners（MAE）详解
m0_46521375的博客
10-31 4796
本文表明，掩蔽自动编码器（MAE）是一种可扩展的计算机视觉自监督学习器。我们的MAE方法很简单：我们屏蔽输入图像的随机patch，并重建缺失的像素。它基于两个核心设计。首先，我们开发了一种非对称编码器——解码器架构，编码器仅对patch的可见子集（没有掩模标记）进行操作，轻量级解码器从潜在表示和掩模标记重建原始图像。第二，我们发现掩蔽高比例的输入图像，例如75%，产生了重要且有意义的自我监督任务。耦合这两种设计使我们能够高效和有效地训练大型模型：我们加速了训练（3倍或更多）并提高了准确性。
MAE (Masked AutoEncoder)：更快！更强！还更简单
强化学习曾小健
07-09 830
本文介绍了在 CV 领域进入 Transformer 时代时具有里程碑意义的方法 MAE，通过随机 Mask 掉图片中较高比例 Patch，然后重构这些 Patch 的像素值，使我们能通过 Self-Supervised Pretraining 方式来预训练图像 Encoder 模型。与传统的 AutoEncoder 不同的是，MAE 采用了非对称设计：Encoder 仅在部分观测到的信号上操作（无需掩码标记），并采用轻量级 Decoder，从潜在表示和掩码标记中重构完整信号。
深度解析回归模型评估指标：MAE、MSE、RMSE 与 R² 的详细讲解
最新发布
cnzzs的博客
02-08 5800
下面是对 MAE、MSE、RMSE 和 R² 四个指标的详细解释、计算公式、特点以及应用场景的说明：1. MAE(平均绝对误差)定义： MAE(Mean Absolute Error)表示预测值与真实值之间绝对误差的平均值。公式：其中， 为真实值， 为预测值， 为样本数。特点：直观性： MAE 直接反映了预测误差的平均水平...
基于transfomer架构的模型[GPT、BERT、VIT、ST、MAE等等]总结
Airy的博客
01-16 2660
本文主要讲述近些年来基于transformer结构的比较知名的模型，例如GPT、BERT、VIT、Swin Transformer以及MAE
MAE论文详解
m0_64148253的博客
08-20 1541
MAE是Facebook团队在2021年11月发布的一篇论文，《Masked Autoencoders Are Scalable Vision Learners》，带掩膜的自编码器是可扩展的视觉学习器，MAE就是MaskedAutoEncoders的缩写，一作是何凯明大神。MAE通过在图片上进行掩码实现在CV领域进行大规模的自监督训练，并且仅通过在ImageNet-IK数据集上进行训练实现了最好的准确率，超过了当时的有监督训练方法。接下来对这篇论文进行详细介绍。
[MAE]Masked Autoencoders掩膜自编码器
luemeon的博客
06-20 5575
目录非对称的编码-解码架构：方法 流程编码器解码器Partial Fine-tuning随机遮盖输入图片的子块，重建丢失像素由MAE预训练的模型具有很好的泛化性能编码器的输入为没有被mask的子块；解码器为轻量级（解码器仅在图像重建的预训练中起作用，因此解码器设计可独立于编码器，且灵活和轻量级），输入为编码器的输入和被mask部分的位置信息，输出为待重建的丢失像素的值。与经典自编码器不同之处在于：采用了非对称设计，使编码器仅依赖于 部分观测信息 (无需掩码token信息，BERT需要)，轻量解码器则直接与
【论文精读】MAE：Masked Autoencoders Are Scalable Vision Learners 带掩码的自动编码器是可扩展的视觉学习器
weixin_47748259的博客
03-24 3409
使用纯注意力机制的编码器结构在机器翻译任务上比RNN架构更好Bert：基于transformer编码器的架构，将transformer拓展到更一般的NLP任务上面使用了完形填空的自监督训练机制，不需要使用标号，而是通过预测一个句子中看不见的masked的词，从而获取对文本特征的抽取的能力，所以Bert可以在大规模的，没有标号的数据上，训练出很好的模型（Bert预测的东西相对简单，所以其解码器就是最后那一个全连接输出层）Vit：可以理解成transformer在图像方面的应用。
Masked Auto Encoder总结
hello world 的博客
11-02 2555
基于MAE的掩码图像预测，复现 凯明 论文
Masked Autoencoders
不要錯過才珍惜
12-28 748
在 ViT 模型中我们也知道了他想要有超过 CNN 的效果的话就需要在超大数据集上进行预训练，在 ImageNet 1K 的效果其实并没有 ResNet 好。这样的话，如果我们需要重新对 ViT 进行训练的话，他的效率是不高的。于是这篇 MAE 在 ViT 的方法上进行了优化，让我们能够在 ImageNet 1K 上也取得较好的效果。当然我们也可以简单的把 MAE 理解为 CV 界的 BERT 模型。下图就简单的介绍了 MAE 的操作是怎么样的。
李沐精读论文：MAE 《Masked Autoencoders Are Scalable Vision Learners》
iwill323的博客
12-21 4900
李沐精读论文：MAE 《Masked Autoencoders Are Scalable Vision Learners》
MAE详解
热门推荐
sinat_34201763的博客
05-18 2万+
目录 一、介绍 二、网络结构 1. encoder 2. decoder 3. LOSS 三、实验 全文参考：论文阅读笔记：Masked Autoencoders Are Scalable Vision Learners_塔_Tass的博客-优快云博客 masked autoencoders(MAE)是hekaiming大佬又一新作，其做法很简单，就是随机mask掉一部分patches并重建这部分丢失的像素，可看作是一个可扩展的(scalable)自监督学习器，能极大加速模型的训练速度
【论文阅读】Masked Autoencoders Are Scalable Vision Learners（MAE）
qq_52852138的博客
04-08 3678
文章目录1.Abstract2.Introduction3.Approach3.1.Masking3.2.MAE encoder3.3.MAR decoder3.4.重建目标3.5.简单的实施4.ImageNet Experiments5.Main Properties5.1.Masking ratio5.2.Decoder design5.3.Mask token5.4.Reconstruction target5.5.Data augmentation5.6.Mask sampling strategy
Masked Autoencoders Are Scalable Vision Learners（MAE）
Pain is inevitable but suffering is optional.
04-05 833
Masked Autoencoders Are Scalable Vision Learners
Masked AutoEncoders（MAE) Top-1准确率87.8%
m0_63642362的博客
12-04 1402
一种可扩展的计算机视觉自监督学习方法：MAE（masked autoencoders），Paddle版。
【读点论文】Masked Autoencoders Are Scalable Vision Learners 完型填空应用到视觉处理上
白水空空
03-17 1554
Masked Autoencoders Are Scalable Vision Learners 本文表明，掩蔽自动编码器(MAE)是计算机视觉的可扩展自监督学习器。 本文的MAE方法很简单:通过屏蔽输入图像的随机碎片，并重建丢失的像素。它基于两个核心设计。 首先，开发了一个非对称的编码器-解码器架构，其中一个编码器只对可见的补丁子集进行操作(没有掩码标记)，另一个轻量级解码器从潜在表示和掩码标记中重建原始图像。 第二，发现遮蔽高比例的输入图像，例如75%，产生了非平凡且有意义的自我监督任务。
【深度学习】深刻理解Masked Autoencoders（MAE）
weixin_62403234的博客
12-10 1496
是近年来自监督学习领域中的一项重要创新，尤其在计算机视觉领域取得了显著进展。随着深度学习的快速发展，自监督学习逐渐成为了一种重要的无监督学习方法，它通过从数据中学习表示而不依赖人工标签，极大地推动了模型的通用性和迁移学习的效率。MAE 就是在这一背景下应运而生的，它被认为是自监督学习的一种变体，尤其适用于图像领域。
深度笔记 - 恺明的MAE（Masked Autoencoders are Scalable Vision Learners）
参谋谋的博客
12-05 3460
概述 已经有很多人写文章做出了对MAE的解读，此处不加赘述，仅仅引用然后做个整理，方便有部分基础的人快速了解和回顾复习。因此可读性会比较差，欢迎提出建议。 原文：Masked Autoencoders are Scalable Vision Learners 简而言之，参考源自NLP中的思想，随机遮蔽（Mask）掉图像中的小块，然后实施图像重建任务。 两个核心使得MAE可以提高大容量模型（例如ViT）的训练效率和准确性： 使用非对称的编码-解码架构，未被遮蔽的图像小块输入编码器，再由一个更轻量的解码器输出
实现MAE：可扩展视觉学习的Masked Autoencoders代码演示
资源摘要信息:"Masked Autoencoders Are Scalable Vision Learners (MAE)代码样例" 在现代人工智能领域，视觉识别技术是其中发展最快、应用最广泛的分支之一。Masked Autoencoders (MAE) 是一种由Facebook AI研究院...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sjx_alo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值