NeurIPS 2021 | 空间集成 ——一种新颖的模型平滑机制

本文内容已被 NeurlPS 2021 接收，感兴趣的同学可以直接点击文末的“阅读原文”查看详细内容。

由于高昂的数据标注成本，无标签数据的利用获得了学术界和工业界越来越多的关注，涌现出不少优秀的半监督和自监督学习方法，例如 FixMatch, MoCo, BYOL 等，大幅缩小了半监督/自监督学习与全监督学习的性能差距。

其中，学生-老师框架+模型平滑技术已经成为半监督及自监督方法的一种流行范式。本文首先介绍了这种经典的范式，并从当前主流的基于时序的模型平滑机制出发，介绍了一种空间平滑方法——空间集成（Spatial Ensemble）。

学生-老师框架

以经典的半监督框架 Mean Teacher 为例，该方法采用了一种学生-老师框架（student-teacher framework）。

图1 Mean Teacher 框架示意图

如图 1 所示，该框架包含一个学生网络(student)和一个老师网络(teacher)。Teacher 为无标签数据生成类别伪标签监督信号,以引导 student 的学习。

在这个过程中，student 基于常规的梯度反向传播来进行更新，而 teacher 则借助于模型平滑技术（Model Smoothing)来进行更新。

这种基于模型平滑技术的学生-老师框架后来广泛应用于多种优秀的自监督框架（如 MoCo、BYOL）中，如图 2 所示。