轻量级网络 Slimmable Neural Networks

Slimmable Neural Networks

论文地址：https://arxiv.org/abs/1812.08928
Github: https://github.com/JiahuiYu/slimmable_networks
OpenReviews:https://openreview.net/forum?id=H1gMCsAqY7

Motivation

移动端的应用对算法运行效率有较高要求，但不同的移动端设备计算能力差异很大，即使是同一设备计算资源也会变化（例如运行很多后台程序，省电模式等情况）。现有的轻量级网络结构，例如MobileNet、ShuffleNet等，通过width multiplier来控制模型复杂度，训练得到多种宽度的模型，并针对不同设备进行部署。但是作者认为此种方式欠缺灵活性，不能在运行时对模型进行调整，所以提出了一种新的网络训练方式。

该方法能够训练一个网络模型，并在运行时根据精度和速度要求来动态调整网络宽度，可以理解为不同规模的模型共享一组参数。此种方式训练得到的模型，称为Slimmable Neural Network，在不同宽度设置的情况下能够与单独训练的模型具有差不多的分类精度，且在物体检测、实例分割、人体关键点检测等任务上具有更高的性能。