自监督学习入门--MAE

最新推荐文章于 2025-04-26 20:31:22 发布
最新推荐文章于 2025-04-26 20:31:22 发布
阅读量256 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 学习 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Data_Arrow/article/details/131172640
ICUD
关注
第一篇：机器学习入门：如何从零开始构建一个监督学习模型？
AI天才研究院
08-10 192
1.1 什么是机器学习？1.1.1 机器学习是关于计算机所做的一些任务，使计算机能够自动获取并运用经验从而改善自身性能的科学研究领域。1.1.2 在机器学习中，系统通过应用已知数据集对输入数据进行预测或推断，从而对未知数据产生更好的预测或决策。1.1.3 有监督学习、无监督学习、半监督学习、强化学习都属于机器学习的不同子领域。1.1.4 当数据量不足时，可以通过采样的方法来降低数据量，以训练出模型。
Scikit-learn 实战指南： 轻松入门机器学习任务
windowshht的博客
03-08 143
本文通过三个实战案例，详细介绍了如何使用 Scikit-learn 库进行简单的机器学习任务，包括分类、回归和聚类。我们学习了如何加载数据集、划分训练集和测试集、选择和训练机器学习模型、评估模型性能以及进行模型选择和调参。Scikit-learn 库以其简洁易用、功能强大和完善的文档支持，极大地降低了机器学习的入门门槛，使得开发者可以更加专注于解决实际问题，而无需花费大量精力在算法细节和库的实现上。然而，机器学习领域仍在快速发展，新的算法和技术不断涌现。
MAE 自监督算法介绍和基于 EasyCV 的复现
数据库技术
05-20 529
近年来，自监督学习受到了越来越多的关注，如Yann Lecun也在 AAAI 上讲 Self-Supervised Learning 是未来的大势所趋。在CV领域涌现了如SwAV、MOCO、DINO、MoBY等一系列工作。MAE是kaiming继MOCO之后在自监督学习领域的又一力作。首先，本文会对MAE进行解读，然后基于EasyCV库的精度复现过程及其中遇到的一些问题作出解答。
MAE(掩码自编码器)是可扩展的计算机视觉自监督学习方法
weixin_51697828的博客
12-20 4186
原文：He,Kaiming,XinleiChen,SainingXie,YanghaoLi,PiotrDoll'arandRossB.Girshick.“MaskedAutoencodersAreScalableVisionLearners.”ArXivabs/2111.06377(2021). 1.Abstract 本文证明了掩码自编码器(MAE)是一种可扩展的计算机视觉自监督学习方法。我们的MAE方法很简单：我们对输入图像的patches进行随机掩码...
MAE——自监督学习，何凯明大神作品
weiming0的博客
04-13 1615
MAE(Masked Autoencoders)是用于CV的自监督学习方法(对照于NLP的BERT），优点是扩展性强的（scalable），方法简单。在MAE方法中会随机mask输入图片的部分patches，然后重构这些缺失的像素。
MAE：视觉自监督2021（原理+代码）
热门推荐
qq_45752541的博客
03-17 2万+
MAE 论文「Masked Autoencoders Are Scalable Vision Learners」证明了 masked autoencoders（MAE） 是一种可扩展的计算机视觉自监督学习方法。 遮住95%的像素后，仍能还原出物体的轮廓，效果如图： 本文提出了一种掩膜自编码器 (MAE)架构，可以作为计算机视觉的可扩展自监督学习器使用。 实现方法很简单：先将输入图像的随机部分予以屏蔽（Mask），再重建丢失的像素。 本文提出的MAE架构如下： 1. 大比例的随机的图像块子集（如 7
Datawhale X 李宏毅苹果书 AI夏令营- 深度学习入门 - Task 1
2301_78519312的博客
08-27 798
Datawhale X 李宏毅苹果书 AI夏令营 深度学习入门营 群5 task1的学习笔记
零基础上手Python数据分析 (24)：Scikit-learn 机器学习初步 - 让数据预测未来！
最新发布
kakaZhui的博客
04-26 1108
在前面的学习中，我们已经掌握了使用 Python、Pandas、NumPy、Matplotlib 和 Seaborn 进行数据处理、分析和可视化的全套核心技能。我们学会了如何从数据中提取信息、清洗数据、整合数据、探索数据模式并将其可视化呈现。现在，我们站在了一个新的起点。数据分析不仅在于理解过去和现在，更在于利用数据预测未来、发现隐藏的规律、甚至让机器具备自主学习和决策的能力。这就是机器学习 (Machine Learning, ML)的魅力所在。机器学习：数据分析的延伸与升华机器学习。
机器学习笔记 - 基于Scikit-Learn的各种分类器进行分类并比较
学以致用 知行合一
06-15 877
scikit-learn是基于python语言构建机器学习应用程序的最佳库之一。简单易用，并且它有很多示例和教程。除了监督式机器学习（分类和回归）外，它还可用于聚类、降维、特征提取和工程以及数据预处理。该接口在所有这些方法上都是一致的，因此它不仅易于使用，而且也很容易构建一个大型分类器/回归模型集合并使用相同的命令训练它们。我们这里基于scikit-learn构建，训练，评估和验证分类器，通过超参数优化改进初始分类器。这里通过两个简单的示例数据集来进行分类。
图像自监督学习——mae
Rain
11-23 536
③decoder时按照原始图像排列，把masked掉的path加回去（只有位置编码信息），没有被masked掉的path去encoder对应的编码特征即可。图像像素冗余信息较多，假如掩码掉的比例非常少，可以通过图像插值等操作拟合出来，对于模型而言生成的意义就少了。6.迁移任务中，编码器怎么用？重点在于随机mask的预处理是否保留，答案是不保留，将预训练模型参数加载到标准的vit中进行应用。2.关于bert是纯编码器的理解，李沐表示任何模型都有编码器和解码器，只不过bert的解码器就是最后的全连接层。
【自监督学习】MAE论文解读《 Masked Autoencoders Are Scalable Vision Learners 》
weixin_63219670的博客
12-26 1856
提出可扩展的自监督学习方法。MAE有两个核心设计，一是采用一种非对称的编码器-解码器架构，编码器仅对可见的图像区域进行操作，轻量级的解码器从潜在表示和遮罩标记区域重构原始图像。二是发现高比例的图像遮罩可以产生一个有意义且非平凡的自监督任务。MAE（遮罩自编码器）的思想是一种更通用的去噪自编码器。
何恺明最新工作：简单实用的自监督学习方案MAE，ImageNet-1K 87.8%
极市平台的技术博客
11-12 1184
作者丨happy 编辑丨极市平台 本文首发于极市平台，转载须经授权并注明来源 论文链接：https://arxiv.org/pdf/2111.06377.pdf 恺明出品，必属精品！这篇文章延续了其一贯的风格：简单且实用。这篇文章仍属于恺明最近两年的研究领域：自监督领域(自监督学习就是被他带火的吧)。本文的出发点则是BERT的掩码自编码机制：移除一部分数据并对移除的内容进行学习。掩码自编码源于CV但盛于NLP，恺明对此提出了疑问：是什么导致了掩码自编码在视觉与语言之间的差异？尝试从不同角度进行解释并由此
【无监督】2、MAE | 自监督模型提取的图像特征也很能打！（CVPR2022 Oral）
呆呆的猫的博客
08-14 1983
本文主要介绍 CVPR2022 Oral MAE 方法
【AI模型学习】MAE——CV界的无监督预训练
wwl412095144的博客
04-15 1626
Autoencoders（MAE），其核心思想是通过对图像进行高比例遮挡，仅保留部分可见 patch，并训练模型从中重建原始图像。整体架构采用不对称设计：编码器（encoder）仅处理未被遮挡的 patch，聚焦学习图像的全局语义特征；解码器（decoder）接收全部 patch 位置（包括 mask token），以较小规模重建图像像素。
自监督学习（SSL）Self-Supervised Learning
luemeon的博客
06-16 9292
有监督和无监督最主要的区别在于模型在训练时是否需要人工标注的标签信息。自监督学习最主要的目的就是学习到更丰富的语义表征。评测自监督学习的能力，主要是通过 Pretrain-Fintune 的模式。监督的 Pretrain - Finetune 流程：1.从大量的有标签数据上进行训练，得到预训练的模型，2.对于新的下游任务（Downstream task），我们将学习到的参数（比如输出层之前的层的参数）进行迁移，在新的有标签任务上进行「微调」，从而得到一个能适应新任务的网络。自监督的 Pretrain - F
机器学习之自监督学习（五）MAE翻译与总结（二）
m0_46521375的博客
11-23 370
，因为有标签的数据集需要大量的人工去进行标注，需要非常高的人工成本，但是无标签的数据在网络上到处可见，通过爬取的方式也便于收集。在编码过程中，编码器会强制模型通过学习来去除输入数据中的噪声，使得编码的特征表示尽可能干净和有用。第一个阶段不涉及任何的下游任务，就是拿着一堆无标签的数据去训练我们的网络，没有设定特定的任务。而想象出它的样子来。）是一种神经网络模型，旨在从包含噪声的输入数据中学习干净的、有用的特征表示。，去噪自动编码器是一类自动编码器，它破坏输入信号，并学会重构原始的、未被破坏的信号。
【深度学习】深刻理解Masked Autoencoders（MAE）
weixin_62403234的博客
12-10 1705
是近年来自监督学习领域中的一项重要创新，尤其在计算机视觉领域取得了显著进展。随着深度学习的快速发展，自监督学习逐渐成为了一种重要的无监督学习方法，它通过从数据中学习表示而不依赖人工标签，极大地推动了模型的通用性和迁移学习的效率。MAE 就是在这一背景下应运而生的，它被认为是自监督学习的一种变体，尤其适用于图像领域。
深度学习｜MAE技术全景图：自监督学习的“掩码魔法“如何重塑AI基础
紫雾凌寒
03-08 1609
自监督学习（Self-Supervised Learning, SSL）作为一种新兴范式，为这一困境提供了突破口。它无需人工标注，而是从数据自身结构中挖掘监督信号。例如，在图像领域，可以通过随机旋转图像并让模型预测旋转角度，或遮挡部分区域让模型重建缺失内容；在 NLP 中，BERT 通过预测掩码单词学习语义和语法。自监督学习的魅力在于，它将未标注数据的“废墟”转化为“金矿”，显著降低数据准备成本，同时提升模型的泛化能力。
Python人群计数资源合集：从入门到机器学习实践
模型训练需要在标注好的数据集上进行，常用的方法有监督学习和半监督学习。 3. 结果评估与优化：模型训练完成后，需要在测试集上评估其性能，常用的评估指标包括平均绝对误差（MAE）、均方误差（MSE）等。基于评估...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值