【自监督】何凯明新作MAE略读

已于 2022-01-26 16:31:16 修改
阅读量3k 收藏 8
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 计算机视觉 深度学习 文章标签： 计算机视觉 人工智能 深度学习
于 2021-11-16 10:07:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43728604/article/details/121349823
本文提出了一种名为随机掩码图像重建的任务，通过遮盖图像部分并重建，挑战现有深度学习模型。作者设计了一个掩码自编码器，采用不对称的编码-解码器结构，仅依赖未被遮盖的部分进行编码和解码。研究显示，这种方法在ImageNet上取得了令人惊讶的效果，表明深度学习可能不再单纯依赖模型深度，而是可以借鉴NLP领域的简单策略。尽管图像与语言信号存在差异，但该工作为计算机视觉的发展开辟了新途径。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

要点1

本文定义了一个新的任务：随机掩码图像重建任务。即随机的掩盖图像中的某些部分，然后重建出图像。

要点2

本文提出了一个掩码自编码器，用来解决随机掩码图像重建任务。该编码器是一个不对称的编码-解码器结构，将没有被掩盖的部分传入编码器进行编码，然后经过一个比较轻量级的解码器进行解码，从而实现重建任务。
在这里插入图片描述

要点3

作者总结说现在深度学习的方法大多数依靠不断加深模型来提高性能。在作者的研究中，在ImageNet上利用一个类似于NLP的简单方法就学到了一个强大的自编码器，这具有很强大的扩展性，让计算机视觉可能走上与NLP类似的道路。

要点4

图像和语言是不同的信号，这一点值得关注。图像仅仅记录了光的信号而不像单词能够分解成不同的语义信息。同样地，MAE重建出的像素也不是语义实体，因为作者是随机抽取的块而不是把目标抽取出来，所以与语义分割任务不同。

要点5

不同mask数量的结果展示
在这里插入图片描述

紧跟步伐，何恺明新作MAE复现历程
迈微AI研习社 · 号主
12-27 3482
本文已获CW不要無聊的風格的发布授权，原文标题为《别再无聊地吹捧了，一起来动手实现 MAE(Masked Autoencoders Are Scalable Vision Learners) 玩玩吧！》，如需转载请与原作者联系。
读论文——MAE（CV小白带读2021何恺明新作）
y1040468929的博客
12-04 5045
ResNet作者，2021年新作，预定顶会？
HPT：何凯明新作！解决智能体异构问题（包含论文代码详解）
sherlockMa的博客
11-22 1737
在这篇博客中，我们介绍了异构预训练Transformer（HPT）模型，这是由MIT和Meta FAIR团队开发的机器人学习领域的一个突破。HPT解决了机器人学习中的异构性问题，通过预训练一个共享的神经网络主干来学习通用的表示，使模型能够跨机器人硬件和任务迁移和泛化。这一创新减少了对特定任务数据的需求，并在真实与模拟环境中展现了优异的性能，预示着机器人技术在智能化和自主化方面的广阔前景。
何恺明等人新作：效果超ResNet，利用NAS方法设计随机连接网络 | 技术头条
AI科技大本营
04-07 1502
点击上方↑↑↑蓝字关注我们~「2019 Python开发者日」，购票请扫码咨询 ↑↑↑译者 | 刘畅编辑 | 一一出品 | AI科技大本营（ID:rgznai100）受人...
何恺明大神新作：大道至简，性能强悍！
最新发布
深度学习技术前沿
06-17 65
举个例子，对于论文《Barlow twins: Self-supervised learning via redundancy reduction》中定义的损失（它计算一个批次中两个增强视图的归一化表征之间的互协方差矩阵），将 D×D 互协方差记为 Cov，其元素以 (m,n) 为索引。由于不会在一个批次中使用同一图像的多个视图，因此该项始终对应于一个恒定且最小的差异度，例如在ℓ₂ 的情况下为 0，在余弦情况下为 -1。因此，与对比学习不同，它既不需要双视图采样、专门的数据增强，也不需要额外的编码器。
大火的何恺明：MAE——用于计算机视觉的可扩展自监督学习神器
limingmin2020的博客
03-18 7930
作者：王浩 毕业于北京航空航天大学，人工智能领域优质创作者，优快云博客认证专家 首发：公众号【3D视觉开发者社区】 导语： 近期，何铠明的新作可谓是火出了圈，毕竟何佬出品必是精品，由何佬提出的的ResNet、Faster RCNN等模型一直被大家学习和研究。如今，何铠明又带来一种用于计算机视觉的可扩展自监督学习器, 称之为”掩码自编码器 (MAE) “，本文将对该视觉学习器原理及实现方法进行解读。 Masked Autoencoders Are Scalable Vision Learners 论文.
何凯明最新一作MAE解读系列1
wqthaha的专栏
05-26 2314
何凯明最新一作MAE系列解读 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 — 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录何凯明最新一作MAE系列解读导读一、摘要二、使用步骤1.引入库2.读入数据总结参考 导读 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 论文：http
【超分辨率】何凯明新作:Masked Autoencoders Are Scalable Vision Learners
weixin_43728604的博客
11-19 5705
MAE。即可以说本文提出了一种新的自编码器，也可以说本文在计算机视觉领域提出了一个新的任务，即通过掩盖图像的一部分来利用没有掩盖的部分对图像进行重建。
【自监督学习】 MAE阅读笔记
echoliuy的博客
09-25 865
MAE论文阅读
分享 | masked自编码器（MAE）：一种可扩展的用于计算机视觉任务的自监督学习器
shenlanshenyanai的博客
11-23 2626
本文证明了masked自编码器（MAE）是一种可扩展的用于计算机视觉任务的自监督学习器。作者的masked自编码器的方法很简单，作者随机mask掉输入图像patches，然后去重构丢失的像素（丢失的像素是被随机mask掉的图像patch）。 主要基于两个核心的设计，首先，作者开发了一个非对称编码器-解码器体系结构，其中编码器仅在可见的patch上运行（没有被mask的patch），同时还有一个轻量级解码器，用于从潜在表征和mask标记重建原始图像，到这里，我的理解，就是输入的是不完整的信息，然后通过编解码
MAE 自监督算法介绍和基于 EasyCV 的复现
阿里云云栖号
05-20 3393
简介：自监督学习（Self-Supervised Learning）能利用大量无标注的数据进行表征学习，然后在特定下游任务上对参数进行微调。通过这样的方式，能够在较少有标注数据上取得优于有监督学习方法的精度。近年来，自监督学习受到了越来越多的关注，如Yann Lecun也在 AAAI 上讲 Self-Supervised Learning 是未来的大势所趋。在CV领域涌现了如SwAV、MOCO、DINO、MoBY等一系列工作。MAE是kaiming继MOCO之后在自监督学习领域的又一力作。首先，本文会对MA
何恺明带队新作「分形生成模型」：逐像素建模高分辨率图像、效率提升4000倍
数据派THU
03-29 163
该模型通过分而治之的策略，将高分辨率图像分解为多个小块进行逐像素建模，显著降低了计算成本（效率提升4000倍），并在高分辨率图像生成任务上表现出色，能够生成高保真度和细粒度细节的图像。与自然的分形结构类似，研究者设计的关键组件是定义递归生成规则的生成器，比如这样的生成器可以是自回归模型，如图 1 所示。如前文所述，本文分形生成模型类似于数学中的分形概念。结果显示，本文的分形框架在这一具有挑战性的重要任务上表现出色，它不仅可以逐像素生成原始图像，同时实现了准确的似然估计和高生成质量，效果如下图 2 所示。
MeanFlow：何凯明新作，单步去噪图像生成新SOTA
sherlockMa的博客
06-09 1533
这篇文章介绍了MeanFlow，这是一种新型的一步生成模型框架，用于生成建模。与传统的流匹配方法不同，MeanFlow通过引入平均速度的概念来表征流场，而不是使用瞬时速度。平均速度定义为两个时间步长之间的位移与时间间隔的比值，这一定义使得模型能够在单次函数评估中完成从先验分布到数据分布的转换，显著提高了生成效率。文章详细阐述了MeanFlow模型的理论基础，包括平均速度与瞬时速度之间的关系，以及如何通过神经网络训练来近似平均速度场。
NeurIPS 2022 | 何恺明团队新作：MAE扩展到视频！学习时空表示，最优Mask比例高达90%！...
阿木寺的博客
10-09 725
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自：AIWalker2021年末，何恺明团队提出MAE在CV届引起极大轰动，自上传到arxiv之后，各种"YYDS", "Best Paper预定"等，关于MAE的介绍可参考以下两个介绍：何恺明一作最新工作！MAE：简单实用的自监督学习方案，高达87.8%准确率！仅用ImageNet-1K一起来动手实现 MAE吧 : http...
SimSiam 何恺明团队新作：Exploring Simple Siamese Representation Learning
阿木寺的博客
11-23 3994
Exploring Simple Siamese Representation Learning 论文链接：https://arxiv.org/abs/2011.10566 作者：陈鑫磊, 何恺明(FAIR)
何恺明新工作！加入MIT的首篇论文！打破自回归图像生成瓶颈，奥赛金牌得主参与！...
阿木寺的博客
06-25 701
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba/多模态/扩散】交流群添加微信：CVer5555，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研，强烈推荐！转载自：夕小瑶科技说 作者：21#近日，深度学习领域的杰出研究者何恺明及其团队又放了个大招，...
何恺明团队的“视频版本MAE”，高效视频预训练！Mask Ratio高达90%时效果也很好！...
夕小瑶科技说
06-15 1415
文 | 小马源 | 我爱计算机视觉本篇文章分享论文『Masked Autoencoders As Spatiotemporal Learners』，由何恺明团队提出视频版本的 MAE，进行高效视频预训练！Mask Ratio 高达 90% 时效果很好！详细信息如下：论文链接：https://arxiv.org/abs/2205.09113项目链接：尚未开源1.摘要本文研究...
【论文讲解】何恺明老师2024新作：无需向量量化的自回归图像生成
F2ancisZ的博客
07-26 4090
何恺明老师的2024新文章，Autoregressive Image Generation without Vector Quantization，在图像生成领域引入了一种新的的自回归模型方法，不再依赖传统的向量量化。通过扩散损失的创新应用，该研究解决了离散token的限制，显著提升了图像生成的质量和速度。尽管存在计算复杂度和参数调节的挑战，这一方法在技术上具有开创性，对未来的模型改进和其他领域的应用具有深远的启发性意义。
preprint版本 | 何凯明新作MAE | CVPR2022bestpaper候选
忽逢桃林的博客
12-01 4574
文章转自：微信公众号【机器学习炼丹术】 笔记作者：炼丹兄（已授权转载） 联系方式：微信cyx645016617 论文题目：“Masked Autoencoders Are Scalable Vision Learners” 0摘要 本文证明了蒙面自动编码器（MAE）是一种可扩展的计算机视觉自监督学习器。我们的MAE方法很简单：我们屏蔽输入图像的随机补丁并重建丢失的像素。 这样的设计基于两个core： 我们开发了一种非对称编码器-解码器体系结构，其中的编码器仅在可见的补丁子集上运行（不带掩码），以及一.
MAE自监督
03-08
### MAE 自监督学习方法介绍 #### 原理概述 Masked Autoencoder (MAE) 是一种用于处理图像和视频数据的自监督学习框架。该方法通过对输入的数据进行部分遮掩，然后尝试重建被遮掩的部分来训练模型[^1]。 具体来说，在训练过程中，MAE会选择性地屏蔽掉大部分像素或帧片段，只保留一小部分可见的信息作为提示给编码器。解码器则基于这些有限的线索去恢复原始完整的样本。这种方式不仅能够有效地利用大规模无标签数据集，而且有助于构建具有更强鲁棒性和泛化性的视觉特征提取器[^4]。 #### 应用范围 作为一种通用的技术手段，只要存在大量的未标记图像或视频素材可供使用，MAE就能发挥其优势并改善相应领域内视觉系统的效能与适应能力。例如，在自动驾驶场景下，采用此类预训练方式可显著增强对于复杂环境感知任务的支持力度；实验表明，经由拼图形式预先调优后的网络结构能将障碍物识别精度提高约27%[^3]。 #### 实现细节 为了更好地理解如何实际操作这一算法流程，下面给出了一段简化版Python代码示例： ```python import torch.nn as nn class MaskedAutoEncoder(nn.Module): def __init__(self, encoder, decoder): super(MaskedAutoEncoder, self).__init__() self.encoder = encoder self.decoder = decoder def forward(self, x_masked, mask_ratio=0.75): # 默认设置75%的比例随机遮挡 latent_representation = self.encoder(x_masked * (torch.rand_like(x_masked)>mask_ratio).float()) reconstructed_output = self.decoder(latent_representation) return reconstructed_output ``` 此段伪代码展示了创建一个简单的MAE类的过程，其中包含了基本组件——编码器和解码器的设计思路以及前向传播逻辑。需要注意的是，真实应用场景下的实现会更加复杂，涉及更多优化技巧和技术考量。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值