【轻量级网络】华为诺亚：VanillaNet

0. 前言

随着人工智能芯片的发展，神经网络推理速度的瓶颈不再是FLOPs或参数量，因为现代GPU可以很容易地进行计算能力较强的并行计算。相比之下，神经网络复杂的设计和较大的深度阻碍了它们的速度。在此背景下，华为诺亚提出了极简网络架构VanillaNet，在ImageNet数据集上，深度为6的网络即可取得76.36%的精度，深度达到13时便能取得83.1%的精度！

1. 网络结构

深度为6的VanillaNet结构如上图所示，一共包括三个部分：

• stem部分：一个4×4卷积 + 激活层
• body部分：由3个卷积模块组成，每个卷积模块由“1×1卷积+MaxPool+激活层”构成
• head部分：由“1×1卷积 + 激活 + 1×1卷积”组成

虽然VanillaNet的体系结构简单且相对较浅，但其微弱的非线性限制了其性能，因此，作者们从训练策略和激活函数这两个角度来解决该问题。

2. VanillaNet非线性表达能力增强策略

2.1 深度训练

简单来说，就是将激活函数$A(x)$替换为$A^{\prime }(x)$，如下式：

其中，