本文介绍了何恺明的最新研究MAE，该工作探讨了BERT的掩码自编码机制在视觉和语言任务中的差异，并提出了一种新的自监督学习方法。该方法在ImageNet-1K上取得了87.8%的准确率，为自监督学习带来了实用性的提升。
作者丨happy
编辑丨极市平台
本文首发于极市平台，转载须经授权并注明来源
论文链接：https://arxiv.org/pdf/2111.06377.pdf
恺明出品，必属精品！这篇文章延续了其一贯的风格：简单且实用。这篇文章仍属于恺明最近两年的研究领域：自监督领域(自监督学习就是被他带火的吧)。本文的出发点则是BERT的掩码自编码机制：移除一部分数据并对移除的内容进行学习。掩码自编码源于CV但盛于NLP，恺明对此提出了疑问：是什么导致了掩码自编码在视觉与语言之间的差异？尝试从不同角度进行解释并由此引申出了本文的MAE。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
