【自监督学习】iBOT in ICLR 2022

一、引言

论文： iBOT🤖: Image BERT Pre-Training with Online Tokenizer
作者： ByteDance
代码： iBOT
注意： 该方法是在另一个自监督预训练方法基础上的改进，学习之前建议掌握DINO。
特点： 对于一张图片，该方法首先进行两次全局裁剪与增强得到两张全局视图，之后进行随机mask再产生两张带mask的全局视图，并分别送入教师和学生网络；学生与教师网络均有两个映射头，一个用于映射$[\text{CLS}]$，另一个用于映射特征图，之后以两个网络的输出一致性为损失进行学生网络的更新；教师网络由指数移动平均更新，还采用了中心化和锐化操作避免模式崩溃。

二、详情

1. 对于一张图片，进行2次全局裁剪（面积占比在$[0.14,1]$，resize为224），之后对2个切片进行随机增强（翻转、色彩变化、高斯模糊、归一化等）得到2个正常的全局视图；接着按照16*16的patch分配14*14的mask，mask为1表示被遮掩，为1的概率为0.3，被遮掩的patch被设置为全0，于是又得到2个带mask的全局视图。
2. 2个正常的全局视图送入教师网络，另外两个带mask的全局视图送入学生网络。教师网络和学生网络的结构相同初始参数也相同，可以是ViT、Swin Transformer等等。教师网络和学生网络都有两个映射头，最后输出维度相同都是8192，学生网络的两个头不共享参数，教师网络的两个头共享参数。一个映射头用于映射$[\text{CLS}]$，输出2*8192，另一个映射头用于映射图像特征，输出2*196*8192。
3. 教师网络的