自蒸馏One-shot NAS——Cream of the Crop

Paper：https://arxiv.org/abs/2010.15821

GitHub (NNI)：https://github.com/microsoft/nni/blob/master/docs/en_US/NAS/Cream.rst

GitHub：https://github.com/microsoft/Cream

 

Cream基本原理

• One-shot NAS：
  • 搜索过程中，设置Prioritized Board，收集精度与速度满足要求的最佳Sub-networks，并按末尾淘汰制更新Board；
  • 隔一定训练周期，在Sub-network更新之后，基于Validation-set、在线更新Meta-network；
  • 搜索阶段，每次随机采样一个Sub-network，并通过Meta-network选择最佳匹配的Prioritized network、作为Teacher，实现在线蒸馏；
• 原理框图：