【自监督学习】DINO in ICCV 2021

一、引言

论文： DINO: Emerging Properties in Self-Supervised Vision Transformers
作者： Facebook AI Research
代码： DINO
特点： 对于一张图片，该方法首先进行全局和局部的裁剪与增强并分别送入教师和学生网络，之后以两个网络的输出一致性为损失进行学生网络的更新，另外教师网络由指数移动平均更新，还采用了中心化和锐化操作避免模式崩溃。
注意： 这里讲的是一个自监督训练策略，还有一个叫DINO的目标检测方法，请勿混淆。

二、详情

DINO的详细流程如下：

1. 对于一张图片，进行2次全局裁剪（面积占比在$[0.4,1]$，resize为224），8次局部裁剪（面积占比$[0.05,0.4$