AMiner推荐论文：Masked Autoencoders Are Scalable Vision Learners

论文链接： https://www.aminer.cn/pub/618ddb455244ab9dcbda8f5f?f=cs
作者先将图像均匀划分为非重叠区块，然后随机对区块进行采样。
以遮蔽比例75%为例，它先在输入图像中掩蔽75%的随机区块，编码器只在可见的25%区块子集上运行，这样就可以只用非常少的计算和显存，来训练非常大的编码器。
然后解码器将可见的token和掩码token组合，并向所有token中添加位置嵌入，通过预测每个掩蔽区块的像素值来重建图像信号。
这样一来，在预训练时解码器可以独立于编码器，从而可以用非常轻量级解码器实验，大量减少预训练时间。
另一个特点则是对输入图像的高比例进行遮蔽时，自监督任务效果非常好。
AMiner,让AI帮你理解科学！https://www.aminer.cn