【MAE】掩码自回归编码器

【传知代码】掩码自回归编码器法(论文复现) 掩码自动编码器MAE是一款具有可扩展性的计算机视觉自我监控学习器。它可以从一个不完整或错误的图像序列中提取出感兴趣的信息来进行分类和识别,在图像处理领域得到了广泛的应用。MAE的核心策略包括:对输入图像的随机补丁进行屏蔽,并对遗失的像素进行重建,这一策略是基于两个主要的设计思路,如下:1)一种非对称编码器-解码器架构,其中编码器只对可见的补丁子集进行操作(没有掩码标记)2)一个轻量级解码器,它根据潜在表示和掩码标记重建原始图像。 阅读详情


✨✨ 欢迎大家来访Srlua的博文(づ ̄3 ̄)づ╭❤~✨✨

🌟🌟 欢迎各位亲爱的读者,感谢你们抽出宝贵的时间来阅读我的文章。

我是Srlua小谢,在这里我会分享我的知识和经验。🎥

希望在这里,我们能一起探索IT世界的奥妙,提升我们的技能。🔮

记得先点赞👍后阅读哦~ 👏👏

📘📚 所属专栏:传知代码论文复现

欢迎访问我的主页:Srlua小谢 获取更多信息和资源。✨✨🌙🌙

​​

​​

目录

概述

方法

演示效果

核心逻辑

部署方式

参考地址


 本文所有资源均可在该地址处获取。

概述

  掩码自动编码器MAE是一种可扩展的计算机视觉自监督学习器。MAE的基本思路是:屏蔽输入图像的随机补丁,并重建丢失的像素,它基于两个核心设计。

  • 一种非对称编码器-解码器架构,其中编码器只对可见的补丁子集进行操作(没有掩码标记),
  • 一个轻量级解码器,它根据潜在表示和掩码标记重建原始图像。

方法


  MAE的掩码自编码器是一种简单地自编码方法,它在给定原始信号的部分观测值的情况下重建原始信号。和所有的自编码器一样,MAE有一个将观察到的信号映射到潜在表示的编码器,以及一个从潜在表示重建原始信号的解码器。与经典的自编码器不同,MAE采用了一种非对称设计,允许编码器仅对部分观察到的信号进行操作(没有掩码标记),并采用了一个轻量级解码器,该解码器根据潜在表示和掩码标记重建全部信号。

掩码
  与ViT相同,MAE将图像划分为规则的非重叠块,之后,MAE对补丁的子集进行采样,并屏蔽(即移除)剩余的补丁。MAE的采样策略很简单,对补丁随机采样,不进行替换,遵循均匀分布。具有高掩码比(去除的补丁所占的比值)的随机采样在很大程度上消除了冗余,从而产生了一个无法通过从可见的相邻补丁外推来解决的任务,均匀分布防止了潜在的中心偏差(即图像中心附近的掩码补丁越多),最后一个高度稀疏的输入为设计一个有效地编码器创建了机会。

MAE编码器
  MAE的编码器是一个ViT,但只应用与可见的、未屏蔽的补丁。就像在标准的ViT中一样,MAE的编码器通过添加了位置嵌入的线性投影来嵌入补丁,然后通过一系列Transformer块来处理结果集。然而,MAE的编码器只对全集的一小部分(例如25%)进行操作。这使MAE能够仅使用一小部分计算和内存来训练非常大的编码器。

MAE解码器
  MAE解码器的输入是由编码器的可见补丁和掩码令牌组成的完整令牌集。每个掩码标记是一个共享的、学习的向量,指示要预测的丢失补丁的存在。MAE将位置嵌入添加到该全集中的所有令牌中,如果没有这一点,掩码令牌将没有关于其在图像中的位置信息。

  MAE解码器仅在预训练期间用于执行图像重建任务(只有编码器用于产生用于识别的图像表示。)因此,可以以独立于编码器设计的方式灵活地设计解码器架构。

重建目标
  MAE通过预测每个掩码补丁的像素值来重建输入,解码器输出中的每个元素是表示补丁的像素值的矢量。解码器的最后一层是线性投影,其输出通道的数量等于块中像素值的数量。对解码器的输出进行重构以形成重构图像。MAE的损失函数在像素空间中计算重建图像和原始图像之间的均方误差(MSE),与BERT相同,MAE只计算掩码补丁上的损失。
MAE还研究了一种变体,其重建目标是每个被屏蔽补丁的归一化像素。具体来说,MAE计算一个Patch中所有像素的均值和标准差,并使用它们对该patch进行归一化。使用归一化像素作为重建的目标提高了表示质量。

简单地实现
  首先,MAE为每个输入补丁生成一个标记(通过添加位置嵌入的线性投影),接下来,MAE随机打乱令牌列表,并根据屏蔽比率删除列表的最后一部分。这个过程为编码器生成一小部分标记,相当于采样补丁而不进行替换。编码后,MAE将一个掩码令牌列表添加到编码补丁列表中,并对这个完整列表纪念性unshuffle(反转随机混洗操作),以将所有标记与其目标对齐。编码器应用于该完整列表(添加了位置嵌入)。如前所述,不需要稀疏运算,这种简单地实现引入了可忽略不计的开销,因为混洗和取消混洗操作很快。

演示效果

MAE随机掩码图像


 


具有GAN损失的情况


 

核心逻辑

随机掩码

def random_masking(self, x, mask_ratio):
        """
        Perform per-sample random masking by per-sample shuffling.
        Per-sample shuffling is done by argsort random noise.
        x: [N, L, D], sequence
        """
        N, L, D = x.shape  # batch, length, dim
        # 确定需要保存多少个patch
        len_keep = int(L * (1 - mask_ratio))
        # [1,196] 用batch此时输入的图片可能不止一个,196表示patch的个数
        noise = torch.rand(N, L, device=x.device)  # noise in [0, 1]      
        # sort noise for each sample 
        # 默认按升序排序,此时返回的是序号,首先获取从低到高排列的序号
        ids_shuffle = torch.argsort(noise, dim=1)  # ascend: small is keep, large is remove
        # 获取ids_shuffle从低到高排列的序号,这样就能还原原始的noise的情况
        ids_restore = torch.argsort(ids_shuffle, dim=1)

        # keep the first subset
        ids_keep = ids_shuffle[:, :len_keep] # 保存数据少的情况
        # [1,49,1024] dim=0 按列进行索引,dim=1按行进行索引,获取x的取值
        x_masked = torch.gather(x, dim=1, index=ids_keep.unsqueeze(-1).repeat(1, 1, D))

        # generate the binary mask: 0 is keep, 1 is remove
        mask = torch.ones([N, L], device=x.device)
        mask[:, :len_keep] = 0
        # unshuffle to get the binary mask 为0表示没有被掩码,1表示被掩码
        # 将是否被掩码通过mask表示出来
        mask = torch.gather(mask, dim=1, index=ids_restore)

        return x_masked, mask, ids_restore

编码器

def forward_encoder(self, x, mask_ratio):
        # embed patches [1,3,224,224]->[1,196,1024]
        x = self.patch_embed(x)

        # add pos embed w/o cls token 除了全局特征,全部加上了位置信息
        x = x + self.pos_embed[:, 1:, :]

        # masking: length -> length * mask_ratio
        x, mask, ids_restore = self.random_masking(x, mask_ratio)
        # id_restore保存的是原来的位置
        # append cls token
        cls_token = self.cls_token + self.pos_embed[:, :1, :]
        cls_tokens = cls_token.expand(x.shape[0], -1, -1) # [1,1,1024]
        # [1,50,1024] 要包含一个class的情况
        x = torch.cat((cls_tokens, x), dim=1) 

        # apply Transformer blocks
        for blk in self.blocks:
            x = blk(x)
        x = self.norm(x)

        return x, mask, ids_restore

解码器

def forward_decoder(self, x, ids_restore):
        # embed tokens [1,50,1024]->[1,50,512]
        x = self.decoder_embed(x)

        # append mask tokens to sequence 获取被掩码的token [1,147,512]
        mask_tokens = self.mask_token.repeat(x.shape[0], ids_restore.shape[1] + 1 - x.shape[1], 1)
        # 将经过编码的数据和原始的初始化为0的数据编码在一起。
        x_ = torch.cat([x[:, 1:, :], mask_tokens], dim=1)  # no cls token
        # 将编码的和为编码的重新转变为原始的patch大小,其实本质上只需要考虑编码的位置,因为其余都是随机初始化的
        x_ = torch.gather(x_, dim=1, index=ids_restore.unsqueeze(-1).repeat(1, 1, x.shape[2]))  # unshuffle
        x = torch.cat([x[:, :1, :], x_], dim=1)  # append cls token
        # add pos embed
        x = x + self.decoder_pos_embed

        # apply Transformer blocks
        for blk in self.decoder_blocks:
            x = blk(x)
        x = self.decoder_norm(x)

        # predictor projection 将其转换为所有像素
        x = self.decoder_pred(x)

        # remove cls token
        x = x[:, 1:, :]

        return x

部署方式

#  linux系统下python=3.7
conda create -n mae python=3.7
conda activate mae

# 下载torch
wget https://download.pytorch.org/whl/cu116/torch-1.13.0%2Bcu116-cp37-cp37m-linux_x86_64.whl
pip install 'torch的下载地址'
# 下载torchvision
wget https://download.pytorch.org/whl/cu116/torchvision-0.14.0%2Bcu116-cp37-cp37m-linux_x86_64.whl
pip install 'torchvision的下载地址'

pip install timm==0.4.5
pip install ipykernel
pip install matplotlib
pip install tensorboard

参考地址

github地址
论文地址

​​

自监督学习(SSL)2024:3大主流范式(生成、对比、自回归)核心原理与适用场景对比 本文将深入解析2024年最具影响力的三大SSL技术流派——生成式、对比式和自回归式,揭示其数学本质与工程实践中的关键抉择。在实际工业部署中,我们发现结合MAE特征提取和对比学习微调的混合方案,在商品检测任务中mAP提升9.2%,同时保持实时推理速度。在CVPR 2024的最新研究中,SSL预训练模型在ImageNet上的线性评估准确率已达85.7%,超越同期监督学习基准2.3个百分点。对比学习通过构建正负样本对,在特征空间形成"同类相近,异类相远"的分布。最新研究表明,扩散过程本身可作为强大的自监督信号。 阅读详情

相关推荐

【第21篇】屏蔽自编码器是可扩展的视觉学习器

在这些任务中,我们的预训练比其监督预训练获得了更好的结果,更重要的是,我们通过扩大模型观察到了显着的收益。我们的编码器只对可见的补丁子集(没有掩码标记)进行操作,我们的解码器是轻量级的,可以从潜在表示和掩码标记中重建输入(图 1)。相反,图像是具有大量空间冗余的自然信号——例如,可以从相邻的补丁中恢复丢失的补丁,而对零件、对象和场景的高级理解很少。与所有自动编码器一样,我们的方法有一个编码器,将观察到的信号映射到潜在表示,以及一个解码器,从潜在表示重建原始信号。我们在表 1d 中比较了不同的重建目标。

2401_84140428的博客 2210

别再无聊地吹捧了,一起来动手实现MAE玩玩吧!

©作者 | CW不要無聊的風格研究方向 | 目标检测、大规模预训练模型前言只要你不是与世隔绝的深度炼丹者,应该都知道前阵子恺明大神的佳作 MAE(Masked Autoencoders A...

Paper weekly 2263

MAE:Masked Autoencoders Are Scalable Vision Learners(带掩码的自编码器是可扩展的学习器)论文阅读

MAE:Masked Autoencoders Are Scalable Vision Learners论文阅读

道阻且长 1253

【论文精读】MAE:Masked Autoencoders Are Scalable Vision Learners 带掩码的自动编码器是可扩展的视觉学习器

使用纯注意力机制的编码器结构在机器翻译任务上比RNN架构更好Bert:基于transformer编码器的架构,将transformer拓展到更一般的NLP任务上面使用了完形填空的自监督训练机制,不需要使用标号,而是通过预测一个句子中看不见的masked的词,从而获取对文本特征的抽取的能力,所以Bert可以在大规模的,没有标号的数据上,训练出很好的模型(Bert预测的东西相对简单,所以其解码器就是最后那一个全连接输出层)Vit:可以理解成transformer在图像方面的应用。

weixin_47748259的博客 4671

【MAE】掩码自回归编码器(论文复现)

【MAE】掩码自回归编码器(论文复现)

wei_shuo的博客 791

MAE(Masked Autoencoders) 详解

masked autoencoders (MAE) 是用于CV的自监督学习方法,优点是扩展性强的(scalable),方法简单。在MAE方法中会随机mask输入图片的部分patches,然后重构这些缺失的像素。MAE基于两个核心设计:(1)不对称的(asymmetric)编码解码结构;(2)使用较高的mask比例(如75%)。MAE展现了很强的迁移性能,在ImageNet-1K上取得了best accuracy(87.8%),且因为方法简单,可扩展性极强(scalable)。

走在深度学习前沿的小宋 9676

【笔记记录】MAE:Masked Autoencoders Are Scalable Vision Learners

本文主要介绍了一种基于遮盖自编码器(Masked Autoencoders, MAE)的计算机视觉自监督学习方法。该方法可以简单有效地训练大型模型,并具有良好的泛化性能。文章详细介绍了MAE方法的核心设计和实现细节,并进行了大量的实验验证。实验结果表明,MAE方法在图像分类等下游任务中具有优秀的表现。

三木今天学习了嘛の博客 208

机械臂速成小指南(八):标准DH法实战——从连杆坐标系到运动学方程

本文详细介绍了机械臂运动学建模中的标准DH法,从连杆坐标系的建立到运动学方程的求解,提供了实用的操作步骤和代码示例。通过DH参数表和变换矩阵的构建,帮助读者快速掌握机械臂运动学建模的核心技术,并解决实际应用中的常见问题。

oo7890的博客 212

自监督学习在物理系统建模中的应用与比较

自监督学习是机器学习领域的重要范式,通过设计代理任务从无标注数据中自动学习有效表征。其核心原理是利用数据自身的结构信息构建预测任务,避免了昂贵的人工标注成本。在物理系统建模中,这种方法能够有效处理时空物理系统的多尺度特性和非线性相互作用,显著提升建模效率。掩码自编码器(MAE)和联合嵌入预测架构(JEPA)是两种典型的自监督学习框架,前者关注数据重构,后者则学习潜在空间预测。实验表明,JEPA在物理参数估计任务中展现出卓越的数据效率和接近专用物理建模方法的性能,特别适合计算流体力学等需要处理复杂时空动态的场

cuhongjiao7003的博客 561

国税局发票查验中英文验证码识别,识别率95.2%

国税验证码识别方法介绍

onedayismyway的博客 3138

数据清洗(Data Cleansing)

数据清洗(Data Cleansing)是指对数据进行处理和纠错,以去除或修复数据集中存在的错误、不致、不完整和冗余的数据,从而使数据更加准确、可靠和有用。数据清洗是数据处理和数据分析中一个非常重要的步骤,它可以帮助我们提高数据的质量,从而提高数据分析和机器学习的准确性和可靠性。数据清洗是一个重要的过程,它可以帮助我们提高数据的质量,从而提高数据分析和机器学习的准确性和可靠性。在实际应用中,我们可以使用一些工具和技术来实现数据清洗,例如 Pandas、NumPy 和 OpenRefine 等。通过数据清洗,

meimei169500的博客 1万+

何恺明大神代表之自监督学习MAE,简单高效。(凡人很难望其项背。。。)

与传统的自编码器不同,我们采用了一种不对称设计,允许编码器仅在部分观察到的信号(没有遮罩标记)上进行操作,并使用轻量级的解码器从潜在表示和遮罩标记中重构完整的信号。掩码自编码器的概念,是更一般的去噪自编码器的一种形式[58],在计算机视觉中也是自然而适用的。然而,我们观察到(例如,图4),我们的遮罩自编码器推断出复杂而整体的重构,表明它已经学到了许多视觉概念,即语义。虽然在BERT中解码器可以是简单的(MLP)[14],但我们发现在图像中,解码器的设计在确定学到的潜在表示的语义水平上起着关键作用。

qq_36101623的博客 1282

STM32N6570-DK ISP调试

将下载线接入STLINK V3EC接口,将BOOT1拨码拨至右边,即将其置为H,上电或已经上电的按复位,打开STM32CubeProgrammer,设置start address:0x70000000。板子消耗电流较大,即使缩短数据线接了USB供电依然不能正常点亮显示屏,最终通过板上CN2端子加了外部5V供电,仍然需要560mA的外部电流。3.烧录bin文件:STM32N6_ISP_IQTune_App_revC01-v1.1.0-trusted.bin。

liu的博客 1067

MAE:掩码自编码器是可扩展的视觉学习者 v2

本文证明了掩码自编码器(MAE)是一种可扩展的计算机视觉自监督学习方法。MAE方法很简单:我们对输入图像的patches进行随机掩码,然后重建缺失的像素。MAE基于两个核心设计。首先,我们开发了一个非对称的编码器-解码器架构,其中编码器仅对可见的patches子集(没有掩码的tokens)进行操作,同时还有一个轻量级的解码器,可以从潜在表示和掩码tokens重建原始图像。其次,我们发现对输入图像进行高比例的掩码,例如75%,会产生一项非凡的、有意义的自监督任务。我们将这两种设计结合起来,就能高效地训练大模型

weixin_51697828的博客 1459

数控弯管机xyz转换ybc的算法_花了一年时间开发的三维弯管机交互式转档软件(三维管子模型UG,SOLIDWORK,PRO/E文件转成YBC)...

在弯管机加工中,由管子模型生成可直接进行弯管加工的YBC数据可以大大提高弯管编程过程.传统的做法是先用dxf数据文件(用autocad绘制管子的轴心线数据)转出XYZ数据,然后由XYZ数据转成YBC数据,而且大部分厂家对文件版本以及软件做管方式都有不少限制,这大大花费了用户的时间跟精力.随着企业的信息化管理以及不断的技术升级,传统用autocad线条模式来描述管子的方式正在被用户用PRO/E,UG...

weixin_29065959的博客 1969

因果推断(二):因果推断涉及的ITE、ATE、CATE等效应

因果效应也称为**处理效应(Treatment effect)**是用于评判干预与否的结果差异的指标(处理变量对结果变量的影响)。比如在接受治疗组中,如果这些人不接受治疗,这组人接受治疗和不接受治疗的效应差异是多少。定义为实验组中每个个体的处理效应差异,比如一个个体在接收治疗和不接受治疗的两个处理方式的健康程度得分的差。但是一个人因为不可能。比如我们想探究接受治疗的男性用户和不接受治疗的男性用户的平均效果差异就是CATE。前面说ITE是无法观测的,是因为一个人不能同时接受治疗又不接受治疗,这里关键的就是。

Y1n的博客 3720

MAE(论文阅读):Masked Autoencoders are scalable vision learners

本文主要介绍了掩码自编码器( MAE, Masked autoencoders)是视觉领域中可扩展的自监督学习算法。MAE具体操作为随机屏蔽输入image中的patchs,再重建丢失的像素。其基于两个核心操作。第一个是建立不对称的编码器-解码器架构,编码器只对没有屏蔽掉的patchs操作,轻量化的解码器通过潜在表示和屏蔽令牌重建原始图像。第二是发现了一种屏蔽图像patchs的高比例,比如75%。结合这两个操作使我们能够高效地训练大模型,加速了训练过程且提高了准确率。在下游任务的迁移性优于有监督的预训练。

m0_54248968的博客 1980

基于Simulink的异步电机参数在线辨识与自适应控制仿真

本文基于Simulink平台,详细介绍了异步电机参数在线辨识与自适应控制系统的仿真实现。针对异步电机运行中参数时变问题,采用模型参考自适应系统(MRAS)实时辨识转子电阻和互感,并结合自适应PI控制策略动态调整控制器参数。通过搭建完整的矢量控制(FOC)仿真模型,验证了系统在稳态辨识、参数摄动和动态响应等工况下的性能:参数辨识误差<1.2%,转速跟踪误差<20rpm,动态响应时间<10ms。文章还提供了详细的Simulink建模步骤、核心代码实现及性能分析,为高级电机控制系统的设计与优化提

amy_mhd的博客 74

MAE简介

MAE(掩码自编码器)是一种基于ViT架构的视觉自监督学习方法,灵感来自BERT的掩码语言模型。其核心设计包括:1)非对称编码器-解码器结构,编码器仅处理未掩码图像块以提升效率;2)采用高比例掩码(如75%)来构建具有挑战性的学习任务。训练时,模型通过重构被掩码的图像块像素,使用MSE损失进行优化。该方法显著提升了训练效率(3倍以上加速)和模型性能,有望推动Transformer在CV领域的广泛应用。预训练后仅需编码器即可提取图像特征用于下游任务。

倚杖柴门外,临风听暮蝉。 1178

【深度学习新浪潮】深度学习特别是大模型在图像配准方面的研发进展

深度学习,尤其是大模型的出现,彻底改变了图像配准的技术范式——从“手工设计特征+几何约束”走向“数据驱动+通用特征学习”。当前,大模型配准已在医学影像、遥感、工业检测等领域实现商业化落地,解决了传统方法难以应对的跨模态、少样本、复杂形变等问题。但大模型配准仍面临推理效率、可解释性、数据隐私等挑战,未来的研发核心将是“精度与效率的平衡”“泛化能力的提升”“场景化适配的简化”。对于开发者而言,从简化版大模型配准代码入手,逐步理解预训练+微调的核心逻辑,是衔接前沿技术的有效路径。

专注:太空算力、AI infra、异构调度、大模型成本工程 428

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

MAE掩码自编码器、VAE变分自编码器

本文对比分析了两种自编码器模型:MAE(掩码自编码器)和VAE(变分自编码器)。MAE通过高比例随机掩码图像块(如75%),迫使模型从局部信息推断全局语义,实现视觉表征学习。其非对称编码器-解码器结构提升了训练效率,高掩码比例切断了局部相关性,促使模型学习抽象特征。VAE则通过概率编码将确定性点映射扩展为概率分布,引入重参数化技巧和KL正则化,构建连续潜在空间,使其具备数据生成能力。与MAE专注于表征学习不同,VAE是典型的生成模型。两种模型在目标(表征vs生成)、潜在空间(抽象token vs连续分布)和

weixin_58003199的博客 493

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

何凯明最新一作MAE解读系列1

何凯明最新一作MAE系列解读 提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加 例如:第一章 Python 机器学习入门之pandas的使用 — 提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录何凯明最新一作MAE系列解读导读一、摘要二、使用步骤1.引入库2.读入数据总结参考 导读 提示:这里可以添加本文要记录的大概内容: 例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。 论文:http

wqthaha的专栏 2495

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

大火的何恺明:MAE——用于计算机视觉的可扩展自监督学习神器

作者:王浩 毕业于北京航空航天大学,人工智能领域优质创作者,优快云博客认证专家 首发:公众号【3D视觉开发者社区】 导语: 近期,何铠明的新作可谓是火出了圈,毕竟何佬出品必是精品,由何佬提出的的ResNet、Faster RCNN等模型一直被大家学习和研究。如今,何铠明又带来一种用于计算机视觉的可扩展自监督学习器, 称之为”掩码自编码器 (MAE) “,本文将对该视觉学习器原理及实现方法进行解读。 Masked Autoencoders Are Scalable Vision Learners 论文.

limingmin2020的博客 8233

MAE 论文逐段精读【论文精读】

MAE 2021.11.11提交 arxiv 知乎 百万 view; Reddit or Twitter 讨论不多 MAE 很新 --> 如何在读比较新的文章 获取一些新的研究思路? 和之前精读论文的关系? Transformer 一个纯基于注意力机制的编码器和解码器 表现比 RNN 架构好,在机器翻译任务 BERT 使用 一个 Transformer 编码器 拓展到更一般的 NLP 的任务 使用了 完型填空 的自监督的训练机制 不需要使用标号 去预测一个句子里面 不见 ma...

记录学习的小白 1062

MAE:Masked Autoencoders Are Scalable Vision Learners——论文学习

图 2 ImageNet验证图像的示例结果Masking。根据ViT,本文将图像划分为规则的不重叠的小块。然后对patch的子集进行采样,并掩码(即删除)剩余的patch。本文的采样策略很简单:对随机斑块进行采样,不进行替换,遵循均匀分布。简单地称之为“随机抽样”。如图 3 所示,“随机抽样”的效果最好。具有高掩蔽比(即去除斑块的比例)的随机采样在很大程度上消除了冗余,从而创建了一个不能通过从可见的邻近斑块外推轻松解决的任务(见图2 - 4)。

qq_55009448的博客 955

Transformers在计算机视觉领域中的应用【第2篇:MAE——BERT的CV版本】

MAE是基于ViT的,将整个训练拓展到没有标号的数据上面,和BERT一样,通过完形填空来获取对图片的理解。MAE不是第一个将BERT拓展到CV上的工作,但是它很有可能是这一系列工作之中未来影响最大的一篇。因为BERT极大地加速了Transformer这个架构在NLP领域中的应用,所以MAE也会使得Transformer在CV上的应用更加普及一些。

https://github.com/Donvink,专注于计算机视觉、目标检测、目标跟踪等方向 1731
上一篇: 一键找出图像中物体的角点
下一篇: MMSD2.0和多模态讽刺检测
Srlua小谢
Srlua小谢 优质创作者: 编程框架技术领域 优质创作者: 编程框架技术领域
博客等级 码龄4年 8963粉丝 332原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值