CVPR 2023: TinyMIM An Empirical Study of Distilling MIM Pre-Trained Models

我们使用以下六个分类标准对本文的选题进行分析：

1. 预训练范式:

• 遮蔽图像建模 (MIM): 这种方法遮蔽图像的一部分，并训练模型预测遮蔽区域的内容。流行的 MIM 方法包括预测随机块、预测颜色或重建整个图像。（论文：1, 2, 4, 5, 7, 12, 17, 45, 48, 49, 59）
• 对比学习 (CL): 这种框架通过拉近相似图像并在嵌入空间中推远不同图像来学习表示。CL 可以与图像变换或其他策略结合使用。（论文：2, 13, 42, 46）
• 自我监督蒸馏 (SSD): SSD 涉及使用各种蒸馏技术将知识从较大的“教师”模型转移到较小的“学生”模型。这有助于提高学生的表现，同时降低其大小和复杂性。（论文：3, 15, 35, 36, 51, 52, 53）
• 视觉Transformer架构: 这些是使用Transformer（最初设计用于自然语言处理）进行图像任务的神经网络架构。这些论文探讨了不同的配置和修改。（论文：3, 10, 11, 29, 30, 31, 43）
• 其他: 此类别包括不属于上述类别或使用多种方法组合的论文。（论文：6, 8, 9, 14, 21, 22, 23, 33, 34, 38, 39, 40, 54, 55, 56, 57, 58）

2. 模型效率和速度: