何恺明最新工作：简单实用的自监督学习方案MAE，ImageNet-1K 87.8%

最新推荐文章于 2024-11-23 16:30:00 发布
原创 最新推荐文章于 2024-11-23 16:30:00 发布 · 1.2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#计算机视觉 #人工智能 #深度学习

本文介绍了何恺明的最新研究MAE，该工作探讨了BERT的掩码自编码机制在视觉和语言任务中的差异，并提出了一种新的自监督学习方法。该方法在ImageNet-1K上取得了87.8%的准确率，为自监督学习带来了实用性的提升。

作者丨happy
编辑丨极市平台
本文首发于极市平台，转载须经授权并注明来源

论文链接：https://arxiv.org/pdf/2111.06377.pdf

恺明出品，必属精品！这篇文章延续了其一贯的风格：简单且实用。这篇文章仍属于恺明最近两年的研究领域：自监督领域(自监督学习就是被他带火的吧)。本文的出发点则是BERT的掩码自编码机制：移除一部分数据并对移除的内容进行学习。掩码自编码源于CV但盛于NLP，恺明对此提出了疑问：是什么导致了掩码自编码在视觉与语言之间的差异？尝试从不同角度进行解释并由此引申出了本文的MAE。

原文链接：何恺明最新一作：简单实用的自监督学习方案 MAE，ImageNet-1K 87.8%！

极市平台
关注
【自监督学习】MAE论文解读《 Masked Autoencoders Are Scalable Vision Learners 》
weixin_63219670的博客
12-26 1989
提出可扩展的自监督学习方法。MAE有两个核心设计，一是采用一种非对称的编码器-解码器架构，编码器仅对可见的图像区域进行操作，轻量级的解码器从潜在表示和遮罩标记区域重构原始图像。二是发现高比例的图像遮罩可以产生一个有意义且非平凡的自监督任务。MAE（遮罩自编码器）的思想是一种更通用的去噪自编码器。
【自监督学习】 MAE阅读笔记
echoliuy的博客
09-25 887
MAE论文阅读
MAE——自监督学习，何凯明大神作品
weiming0的博客
04-13 1837
MAE(Masked Autoencoders)是用于CV的自监督学习方法(对照于NLP的BERT），优点是扩展性强的（scalable），方法简单。在MAE方法中会随机mask输入图片的部分patches，然后重构这些缺失的像素。
MAE 自监督算法介绍和基于 EasyCV 的复现
数据库技术
05-20 582
近年来，自监督学习受到了越来越多的关注，如Yann Lecun也在 AAAI 上讲 Self-Supervised Learning 是未来的大势所趋。在CV领域涌现了如SwAV、MOCO、DINO、MoBY等一系列工作。MAE是kaiming继MOCO之后在自监督学习领域的又一力作。首先，本文会对MAE进行解读，然后基于EasyCV库的精度复现过程及其中遇到的一些问题作出解答。
图像自监督学习——mae
Rain
11-23 640
③decoder时按照原始图像排列，把masked掉的path加回去（只有位置编码信息），没有被masked掉的path去encoder对应的编码特征即可。图像像素冗余信息较多，假如掩码掉的比例非常少，可以通过图像插值等操作拟合出来，对于模型而言生成的意义就少了。6.迁移任务中，编码器怎么用？重点在于随机mask的预处理是否保留，答案是不保留，将预训练模型参数加载到标准的vit中进行应用。2.关于bert是纯编码器的理解，李沐表示任何模型都有编码器和解码器，只不过bert的解码器就是最后的全连接层。
FAIR 何恺明、Piotr、Ross等新作，MAE才是YYDS！仅用ImageNet1K，Top-1准确率87.8%！
我爱计算机视觉
11-12 3018
关注公众号，发现CV技术之美介绍一篇今天新出的论文。▊写在前面在本文中，作者证明了masked autoencoders（MAE） 是一种可扩展的计算机视觉自监督学习方法。本文的MAE方...
计算机视觉基于MAE预预训练的大规模视觉模型初始化方法：弱监督与自监督协同学习在十亿级图像识别任务中的性能优化
最新发布
12-03
该方法在图像分类、视频识别、目标检测、少样本和零样本识别等10项视觉任务中均取得更优结果，尤其在iNaturalist-18、ImageNet-ReaL、1-shot ImageNet-1k和Food-101零样本迁移任务上达到新的最先进水平。; 适合人群...
详解何恺明新作MAE：通向CV大模型
极市平台的技术博客
11-29 7404
作者丨科技猛兽 编辑丨极市平台 本文原创首发于极市平台，转载请获得授权并标明出处。 本文目录 1 MAE 1.1 Self-supervised Learning 1.2 Masked AutoEncoder (MAE) 方法概述 1.3 MAE Encoder 1.4 MAE Decoder 1.5 自监督学习目标函数 Reconstruction Target 1.6 具体实现方法 1.7 ImageNet 实验结果 1.8 masking ratio 对性能的影响 1.9 观察到的一些实验现象 1.
何恺明大神新作：一种用于目标检测的主流ViT架构，效果SOTA
深度学习技术前沿
04-01 5651
链接：https://arxiv.org/abs/2203.16527作者单位：Facebook AI Research1导读3月30日，何恺明大神团队在ArXiv上发布了最新研究工作，该工作主要研究了一种适用于目标检测任务的非层次化结构主流骨干网络ViTDet。该研究表明ViTDet无需重新设计用于预训练的分层主干网络，只对传统的FPN模块最后一个Stage进行微调(简...
分享 | 视觉无监督学习新范式：MAE
shenlanshenyanai的博客
12-03 3040
近日，FAIR的最新论文《Masked Autoencoders Are Scalable Vision Learners》提出了一种更简单有效的用于ViT无监督训练的方法MAE，并在ImageNet-1K数据集上的top-1 acc达到新的SOTA：87.8%（无额外训练数据）。 自从ViT火了之后，一些研究者就开始尝试研究ViT的无监督学习，比如Mocov3用对比学习的方法无监督训练ViT，此外也有一些研究开始借鉴BERT中的MLM（masked language modeling）方法，比如BEi.
机器学习之自监督学习（五）MAE翻译与总结（一）
m0_46521375的博客
11-23 1139
一个合理深的解码器可以弥补重建专业化在识别方面的不足，将潜在表示留在更抽象的层次上。线性分类层，然后在特定数据集上进行微调，端到端就是在特定数据集上可以通过训练修改模型参数，线性探测是仅仅在特定数据集上训练最后的线性分类层。这个编码器的输入中有很大一部分是掩模标记，而在未被损坏的图像中不存在这些掩模标记。我们的方法包括一个编码器，将观察到的信号映射到潜在表示，以及一个解码器，从潜在表示和掩模标记中重建原始信号。图像只是记录的光线，没有将其分解成视觉上的单词的语义。对于线性探测来说，足够深的解码器非常重要（
机器学习之自监督学习（五）MAE翻译与总结（二）
m0_46521375的博客
11-23 488
，因为有标签的数据集需要大量的人工去进行标注，需要非常高的人工成本，但是无标签的数据在网络上到处可见，通过爬取的方式也便于收集。在编码过程中，编码器会强制模型通过学习来去除输入数据中的噪声，使得编码的特征表示尽可能干净和有用。第一个阶段不涉及任何的下游任务，就是拿着一堆无标签的数据去训练我们的网络，没有设定特定的任务。而想象出它的样子来。）是一种神经网络模型，旨在从包含噪声的输入数据中学习干净的、有用的特征表示。，去噪自动编码器是一类自动编码器，它破坏输入信号，并学会重构原始的、未被破坏的信号。
MAE：视觉自监督2021（原理+代码）
热门推荐
qq_45752541的博客
03-17 2万+
MAE 论文「Masked Autoencoders Are Scalable Vision Learners」证明了 masked autoencoders（MAE） 是一种可扩展的计算机视觉自监督学习方法。 遮住95%的像素后，仍能还原出物体的轮廓，效果如图： 本文提出了一种掩膜自编码器 (MAE)架构，可以作为计算机视觉的可扩展自监督学习器使用。 实现方法很简单：先将输入图像的随机部分予以屏蔽（Mask），再重建丢失的像素。 本文提出的MAE架构如下： 1. 大比例的随机的图像块子集（如 7
自监督语义分割面模型——(MAE)论文阅读与代码解析
qq_41627642的博客
07-17 3944
本文证明了掩码自编码器(MAE)是一种可扩展的计算机视觉自监督学习算法。我们屏蔽输入图像的随机补丁并重建缺失的像素。它基于两个核心设计。首先，我们开发了一个非对称编码器-解码器架构，其中一个编码器仅对补丁的可见子集(没有掩码令牌)进行操作，以及一个轻量级解码器，该解码器从潜在表示和掩码令牌重建原始图像。其次，我们发现掩盖输入图像的高比例，例如75%，产生了一个重要的和有意义的自我监督任务。这两种设计的结合使我们能够高效地训练大型模型:我们加速了训练(3倍或更多)并提高了准确性。
MAE(掩码自编码器)是可扩展的计算机视觉自监督学习方法
weixin_51697828的博客
12-20 4369
原文：He,Kaiming,XinleiChen,SainingXie,YanghaoLi,PiotrDoll'arandRossB.Girshick.“MaskedAutoencodersAreScalableVisionLearners.”ArXivabs/2111.06377(2021). 1.Abstract 本文证明了掩码自编码器(MAE)是一种可扩展的计算机视觉自监督学习方法。我们的MAE方法很简单：我们对输入图像的patches进行随机掩码...
自监督学习self-supervised learning 概述
二十年蝉电子学习博客
11-22 5551
深度学习被分为：监督学习，无监督学习和自监督学习。监督学习近些年获得了巨大的成功，但是有如下的缺点：1.人工标签相对数据来说本身是稀疏的，蕴含的信息不如数据内容丰富；2.监督学习只能学到特定任务的知识，不是通用知识，一般难以直接迁移到其他任务中。无监督学习算法的结果可能不太准确,因为输入数据没有标记,并且算法事先不知道确切的输出。由于这些原因，自监督学习的发展被给予厚望。自监督学习（Self-Supervised Learning）是无监督学习里面的一种，也被称作(pretext task)
【无监督】2、MAE | 自监督模型提取的图像特征也很能打！（CVPR2022 Oral）
呆呆的猫的博客
08-14 2212
本文主要介绍 CVPR2022 Oral MAE 方法
自监督学习应用
smilelingling的博客
10-26 827
自监督学习主要是利用辅助任务（pretext）从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征。（也就是说自监督学习的监督信息不是人工标注的，而是算法在大规模无监督数据中自动构造监督信息，来进行监督学习或训练。因此，大多数时候，我们称之为无监督预训练方法或无监督学习方法，严格上讲，他应该叫自监督学习）
RepRec：医学图像自监督学习的混合视觉表示框架
"自监督预训练中的表示恢复在医学图像上的混合视觉表示学习框架" 这篇研究集中在自监督预训练技术在医学图像分析中的应用，特别是针对医学图像的无标签数据集进行图像分割和深度学习模型的优化。随着自监督学习的...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值