自监督学习入门--MAE

最新推荐文章于 2025-09-12 14:02:12 发布
原创 最新推荐文章于 2025-09-12 14:02:12 发布 · 292 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#学习 #深度学习 #机器学习

ICUD
关注
MAE 自监督算法介绍和基于 EasyCV 的复现
阿里云云栖号
05-20 3467
简介：自监督学习（Self-Supervised Learning）能利用大量无标注的数据进行表征学习，然后在特定下游任务上对参数进行微调。通过这样的方式，能够在较少有标注数据上取得优于有监督学习方法的精度。近年来，自监督学习受到了越来越多的关注，如Yann Lecun也在 AAAI 上讲 Self-Supervised Learning 是未来的大势所趋。在CV领域涌现了如SwAV、MOCO、DINO、MoBY等一系列工作。MAE是kaiming继MOCO之后在自监督学习领域的又一力作。首先，本文会对MA
【自监督学习】MAE论文解读《 Masked Autoencoders Are Scalable Vision Learners 》
weixin_63219670的博客
12-26 1989
提出可扩展的自监督学习方法。MAE有两个核心设计，一是采用一种非对称的编码器-解码器架构，编码器仅对可见的图像区域进行操作，轻量级的解码器从潜在表示和遮罩标记区域重构原始图像。二是发现高比例的图像遮罩可以产生一个有意义且非平凡的自监督任务。MAE（遮罩自编码器）的思想是一种更通用的去噪自编码器。
MAE(掩码自编码器)是可扩展的计算机视觉自监督学习方法
weixin_51697828的博客
12-20 4371
原文：He,Kaiming,XinleiChen,SainingXie,YanghaoLi,PiotrDoll'arandRossB.Girshick.“MaskedAutoencodersAreScalableVisionLearners.”ArXivabs/2111.06377(2021). 1.Abstract 本文证明了掩码自编码器(MAE)是一种可扩展的计算机视觉自监督学习方法。我们的MAE方法很简单：我们对输入图像的patches进行随机掩码...
MAE——自监督学习，何凯明大神作品
weiming0的博客
04-13 1837
MAE(Masked Autoencoders)是用于CV的自监督学习方法(对照于NLP的BERT），优点是扩展性强的（scalable），方法简单。在MAE方法中会随机mask输入图片的部分patches，然后重构这些缺失的像素。
Datawhale X 李宏毅苹果书 AI夏令营- 深度学习入门 - Task 1
2301_78519312的博客
08-27 876
Datawhale X 李宏毅苹果书 AI夏令营 深度学习入门营 群5 task1的学习笔记
26、机器学习基础与Scikit - Learn库入门
c7d8e的博客
07-13 31
本文详细介绍了机器学习的基础知识及其在Scikit-Learn库中的应用。内容涵盖监督学习和无监督学习的主要算法，包括分类、回归、降维和聚类，并通过多个实例演示了Scikit-Learn库的Estimator API和常用功能。此外，还涉及模型评估指标、超参数调优方法以及数据预处理技巧，为初学者提供了完整的机器学习入门指南。
3、机器学习模型、数据集与监督学习入门
最新发布
p1q2r的博客
09-12 21
本文深入介绍了机器学习中的核心概念，包括模型、数据集与监督学习的基本原理。内容涵盖防止过拟合的方法（如正则化和集成方法）、监督学习的分类与回归任务、常用性能评估指标（如准确率、精确率、召回率、F1分数、MSE、MAE），并通过销售数据示例演示了线性回归的手动拟合与scikit-learn实现。同时，文章详细讲解了决策树的学习机制、优缺点、熵与信息增益的数学原理，并提供了基于鸢尾花数据集的决策树构建代码。最后总结了不同模型的特点与适用场景，帮助读者建立对机器学习基础的系统性理解。
自监督入门（对比学习:INS+Disc，InvaSpread，SimCLR，MoCo系列）
lryjy的博客
06-21 1191
自监督入门，对比方法深入理解
深度学习与监督学习入门
### 深度学习与监督学习入门 #### 1. 深度学习内容架构 深度学习领域涵盖了众多方面，其内容架构丰富多样。以下是对深度学习不同部分的简要介绍： - **监督学习管道（2 - 9章）**：这部分详细介绍了监督学习的流程...
MAE：视觉自监督2021（原理+代码）
热门推荐
qq_45752541的博客
03-17 2万+
MAE 论文「Masked Autoencoders Are Scalable Vision Learners」证明了 masked autoencoders（MAE） 是一种可扩展的计算机视觉自监督学习方法。 遮住95%的像素后，仍能还原出物体的轮廓，效果如图： 本文提出了一种掩膜自编码器 (MAE)架构，可以作为计算机视觉的可扩展自监督学习器使用。 实现方法很简单：先将输入图像的随机部分予以屏蔽（Mask），再重建丢失的像素。 本文提出的MAE架构如下： 1. 大比例的随机的图像块子集（如 7
图像自监督学习——mae
Rain
11-23 641
③decoder时按照原始图像排列，把masked掉的path加回去（只有位置编码信息），没有被masked掉的path去encoder对应的编码特征即可。图像像素冗余信息较多，假如掩码掉的比例非常少，可以通过图像插值等操作拟合出来，对于模型而言生成的意义就少了。6.迁移任务中，编码器怎么用？重点在于随机mask的预处理是否保留，答案是不保留，将预训练模型参数加载到标准的vit中进行应用。2.关于bert是纯编码器的理解，李沐表示任何模型都有编码器和解码器，只不过bert的解码器就是最后的全连接层。
自监督语义分割面模型——(MAE)论文阅读与代码解析
qq_41627642的博客
07-17 3945
本文证明了掩码自编码器(MAE)是一种可扩展的计算机视觉自监督学习算法。我们屏蔽输入图像的随机补丁并重建缺失的像素。它基于两个核心设计。首先，我们开发了一个非对称编码器-解码器架构，其中一个编码器仅对补丁的可见子集(没有掩码令牌)进行操作，以及一个轻量级解码器，该解码器从潜在表示和掩码令牌重建原始图像。其次，我们发现掩盖输入图像的高比例，例如75%，产生了一个重要的和有意义的自我监督任务。这两种设计的结合使我们能够高效地训练大型模型:我们加速了训练(3倍或更多)并提高了准确性。
揭秘何凯明Masked Autoencoders（MAE）：计算机视觉中的可扩展自监督学习新星
阿正的梦工坊
03-26 2213
本文将深入剖析 MAE 的设计理念、技术细节及其独特之处，带你理解它为何能在 Vision Transformer (ViT) 的基础上掀起新的研究浪潮。
何恺明最新工作：简单实用的自监督学习方案MAE，ImageNet-1K 87.8%
极市平台的技术博客
11-12 1212
作者丨happy 编辑丨极市平台 本文首发于极市平台，转载须经授权并注明来源 论文链接：https://arxiv.org/pdf/2111.06377.pdf 恺明出品，必属精品！这篇文章延续了其一贯的风格：简单且实用。这篇文章仍属于恺明最近两年的研究领域：自监督领域(自监督学习就是被他带火的吧)。本文的出发点则是BERT的掩码自编码机制：移除一部分数据并对移除的内容进行学习。掩码自编码源于CV但盛于NLP，恺明对此提出了疑问：是什么导致了掩码自编码在视觉与语言之间的差异？尝试从不同角度进行解释并由此
【无监督】2、MAE | 自监督模型提取的图像特征也很能打！（CVPR2022 Oral）
呆呆的猫的博客
08-14 2214
本文主要介绍 CVPR2022 Oral MAE 方法
【AI模型学习】MAE——CV界的无监督预训练
wwl412095144的博客
04-15 2077
Autoencoders（MAE），其核心思想是通过对图像进行高比例遮挡，仅保留部分可见 patch，并训练模型从中重建原始图像。整体架构采用不对称设计：编码器（encoder）仅处理未被遮挡的 patch，聚焦学习图像的全局语义特征；解码器（decoder）接收全部 patch 位置（包括 mask token），以较小规模重建图像像素。
自监督学习（SSL）Self-Supervised Learning
luemeon的博客
06-16 9570
有监督和无监督最主要的区别在于模型在训练时是否需要人工标注的标签信息。自监督学习最主要的目的就是学习到更丰富的语义表征。评测自监督学习的能力，主要是通过 Pretrain-Fintune 的模式。监督的 Pretrain - Finetune 流程：1.从大量的有标签数据上进行训练，得到预训练的模型，2.对于新的下游任务（Downstream task），我们将学习到的参数（比如输出层之前的层的参数）进行迁移，在新的有标签任务上进行「微调」，从而得到一个能适应新任务的网络。自监督的 Pretrain - F
机器学习之自监督学习（五）MAE翻译与总结（二）
m0_46521375的博客
11-23 488
，因为有标签的数据集需要大量的人工去进行标注，需要非常高的人工成本，但是无标签的数据在网络上到处可见，通过爬取的方式也便于收集。在编码过程中，编码器会强制模型通过学习来去除输入数据中的噪声，使得编码的特征表示尽可能干净和有用。第一个阶段不涉及任何的下游任务，就是拿着一堆无标签的数据去训练我们的网络，没有设定特定的任务。而想象出它的样子来。）是一种神经网络模型，旨在从包含噪声的输入数据中学习干净的、有用的特征表示。，去噪自动编码器是一类自动编码器，它破坏输入信号，并学会重构原始的、未被破坏的信号。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值