「Masked Autoencoders」MAE算法相关及后续工作整理

已于 2024-03-25 15:35:47 修改
阅读量1.9k 收藏 7
点赞数
分类专栏： 目标检测算法 轨迹预测 目标跟踪算法 文章标签： 算法 人工智能
于 2023-04-07 16:32:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43745234/article/details/130015027
版权
本文整理了Kaiming He等人提出的Masked Autoencoders（MAE）及其后续工作，展示了在图像处理领域的最新进展。SimMIM提供了一个简单但有效的框架，超越了先前的SOTA基准；BEiT则引入了BERT式的预训练方法到图像Transformer中。这些工作在无监督学习、预训练和图像表示方面取得了显著成果，推动了自动驾驶、医疗影像分析和视觉Transformer等多个领域的技术进步。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

参考链接：https://zhuanlan.zhihu.com/p/518608011

(MAE, Kaiming He et al.)由于其从丰富的未标记数据中学习有用表示的能力而重新引起了人们的兴趣。直到最近，MAE及其后续工作已经推进了最先进的技术，并在研究(特别是视觉研究)中提供了有价值的见解。在这里，列出了MAE之后或同时进行的几项后续工作，以启发未来的研究。

Awesome Masked Autoencoders

在这里插入图片描述

Fig. 1. Masked Autoencoders from Kaiming He et al.

Vision

了解本专栏 订阅专栏 解锁全文 超级会员免费看
MAE(Masked Autoencoders) 详解
走在深度学习前沿的小宋
06-01 9004
masked autoencoders (MAE) 是用于CV的自监督学习方法，优点是扩展性强的（scalable），方法简单。在MAE方法中会随机mask输入图片的部分patches，然后重构这些缺失的像素。MAE基于两个核心设计：（1）不对称的（asymmetric）编码解码结构；（2）使用较高的mask比例（如75%）。MAE展现了很强的迁移性能，在ImageNet-1K上取得了best accuracy（87.8%），且因为方法简单，可扩展性极强（scalable）。
紧跟步伐，何恺明新作MAE复现历程
迈微AI研习社 · 号主
12-27 3436
本文已获CW不要無聊的風格的发布授权，原文标题为《别再无聊地吹捧了，一起来动手实现 MAE(Masked Autoencoders Are Scalable Vision Learners) 玩玩吧！》，如需转载请与原作者联系。
[MAE]Masked Autoencoders掩膜自编码器
luemeon的博客
06-20 5900
目录非对称的编码-解码架构：方法 流程编码器解码器Partial Fine-tuning随机遮盖输入图片的子块，重建丢失像素由MAE预训练的模型具有很好的泛化性能编码器的输入为没有被mask的子块；解码器为轻量级（解码器仅在图像重建的预训练中起作用，因此解码器设计可独立于编码器，且灵活和轻量级），输入为编码器的输入和被mask部分的位置信息，输出为待重建的丢失像素的值。与经典自编码器不同之处在于：采用了非对称设计，使编码器仅依赖于 部分观测信息 (无需掩码token信息，BERT需要)，轻量解码器则直接与
Masked AutoEncoders（MAE) Top-1准确率87.8%
m0_63642362的博客
12-04 1420
一种可扩展的计算机视觉自监督学习方法：MAE（masked autoencoders），Paddle版。
深度笔记 - 恺明的MAE（Masked Autoencoders are Scalable Vision Learners）
参谋谋的博客
12-05 3492
概述 已经有很多人写文章做出了对MAE的解读，此处不加赘述，仅仅引用然后做个整理，方便有部分基础的人快速了解和回顾复习。因此可读性会比较差，欢迎提出建议。 原文：Masked Autoencoders are Scalable Vision Learners 简而言之，参考源自NLP中的思想，随机遮蔽（Mask）掉图像中的小块，然后实施图像重建任务。 两个核心使得MAE可以提高大容量模型（例如ViT）的训练效率和准确性： 使用非对称的编码-解码架构，未被遮蔽的图像小块输入编码器，再由一个更轻量的解码器输出
MAE同期工作，MSRA新作SimMiM：掩码图像建模，赶在内卷前的新方向！
wqthaha的专栏
06-06 1104
SimMiM，遮挡图像建模有一篇大作，MAE同期作品，CVPR2022被接收文章。
MAE——自监督学习，何凯明大神作品
weiming0的博客
04-13 1558
MAE(Masked Autoencoders)是用于CV的自监督学习方法(对照于NLP的BERT），优点是扩展性强的（scalable），方法简单。在MAE方法中会随机mask输入图片的部分patches，然后重构这些缺失的像素。
李沐精读论文：MAE 《Masked Autoencoders Are Scalable Vision Learners》
iwill323的博客
12-21 5033
李沐精读论文：MAE 《Masked Autoencoders Are Scalable Vision Learners》
分享 | masked自编码器（MAE）：一种可扩展的用于计算机视觉任务的自监督学习器
shenlanshenyanai的博客
11-23 2613
本文证明了masked自编码器（MAE）是一种可扩展的用于计算机视觉任务的自监督学习器。作者的masked自编码器的方法很简单，作者随机mask掉输入图像patches，然后去重构丢失的像素（丢失的像素是被随机mask掉的图像patch）。 主要基于两个核心的设计，首先，作者开发了一个非对称编码器-解码器体系结构，其中编码器仅在可见的patch上运行（没有被mask的patch），同时还有一个轻量级解码器，用于从潜在表征和mask标记重建原始图像，到这里，我的理解，就是输入的是不完整的信息，然后通过编解码
CVPR 2023 | MAE再发力，跨模态交互式自编码器PiMAE席卷3D目标检测领域
3D视觉工坊
04-21 1929
来源丨将门创投点击进入—>3D视觉工坊学习交流群本文提出了一种基于MAE的跨模态交互式自编码器PiMAE，PiMAE同时具有强大的3D点云和RGB图像特征提取能力。作者通过三个方面的独特设计来促进多模态学习过程中的交互效果。并对提出的PiMAE进行了广泛的实验，该框架在多个下游任务上都展示出了非常出色的性能提升效果，这也侧面表明MAE模式在基础视觉感知任务上仍然不过时，具有进一步研究的价值。...
带掩码的自编码器MAE在各领域中的应用总结
deephub
09-09 4912
NLP，图像，视频，多模态，设置时间序列和图机器学习中都出现了MAE的身影
（七十六）：Masked Autoencoders Are Scalable Vision Learners
Wangzx的博客
12-25 4377
Masked Autoencoders Are Scalable Vision LearnersAbstract1. Introduction2. Related Work3. Method4. ImageNet Experiments4.1. Main Properties4.2. Comparisons with Previous Results4.3. Partial Fine-tuning5. Transfer Learning Experiments6.Discussion and Conclus
读论文——MAE（CV小白带读2021何恺明新作）
y1040468929的博客
12-04 5013
ResNet作者，2021年新作，预定顶会？
Masked AutoEncoders (MAE) 原理与代码实例讲解：重建被掩码的图像来学习有效的视觉表示
AI天才研究院
06-02 1579
Masked AutoEncoders (MAE) 是一种自监督学习方法，由何恺明等人在2021年提出。这种方法在计算机视觉领域引起了广泛关注，特别是在图像表示学习方面。MAE的核心思想是通过重建被掩码的图像来学习有效的视觉表示。自监督学习在NLP领域的成功（如BERT）视觉领域对高效自监督学习方法的需求Transformer架构在计算机视觉任务中的应用理解MAE的背景有助于我们更好地把握其设计思路和重要性。
基础论文学习（5）——MAE
ZhengrongYue的博客
08-25 3239
基础论文学习（5）——MAE
MAE详解
热门推荐
sinat_34201763的博客
05-18 2万+
目录 一、介绍 二、网络结构 1. encoder 2. decoder 3. LOSS 三、实验 全文参考：论文阅读笔记：Masked Autoencoders Are Scalable Vision Learners_塔_Tass的博客-优快云博客 masked autoencoders(MAE)是hekaiming大佬又一新作，其做法很简单，就是随机mask掉一部分patches并重建这部分丢失的像素，可看作是一个可扩展的(scalable)自监督学习器，能极大加速模型的训练速度
一文看完多模态：从视觉表征到多模态大模型
最新发布
2401_85375186的博客
11-14 1242
写到这里，吐一口老血，但还是要总结一下。本文梳理了2019年之后视觉表征和多模态表征的一些变化，主要涉及视觉表征和视觉预训练、多模态表征对齐（或融合）和多模态预训练、多模态大模型技术的相关工作。各工作之间的简化关系如图42，脉络主要是结合笔者自己各阶段的实践经历和认识，会出现一些地方不严谨的地方，欢迎指正。关于未来畅想，从最近的工作上来看，多模态的呈现出以大模型为主线，逐步开始朝长上下文、混合模态、世界模型、多模态生成等方向发展。
论文理解【LLM-CV】—— 【MAE】Masked Autoencoders Are Scalable Vision Learners
佚失的诗篇
10-04 809
本文介绍何凯明的经典之作MAE，它将BERT类模型的MLM自监督训练方法用到了ViT类CV模型上，通过设置大比例mask ratio和引入图像重建decoder的方法达成了良好的性能
MAE论文阅读《Masked Autoencoders Are Scalable Vision Learners》
Iron_lyk Blog
04-12 654
MAE采用了MIM的思想，随机mask掉部分patchs然后进行重建，并有两个核心的设计： 1）设计了一个非对称的encoder-decoder结构，这个非对称体现在两方面：一方面decoder采用比encoder更轻量级设计，encoder首先使用linear将patch映射为embedding，然后采用的是ViT模型，decoder是一个包含几个transformer blocks轻量级模块，最后一层是一个linear层采用的是一个；另外一方面encoder只处理visible patchs，而deco
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

视觉AI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值