PReLUNet

Paper : Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification
Code : unofficial

概要

PReLU Net 其实并不是一种网络结构，而是一种新的激活函数，这种激活函数尝试解决ReLU函数在输入为负数时带来的反向传播停止的问题，而我认为这篇文章的更重要的一点是它提出了一种参数初始化的方法，优化了深度神经网络的训练过程，解决了梯度爆炸和梯度消失的问题。

激活函数

PReLU的全称是Parametric ReLU，相比ReLU和Leaky ReLU引入了可学习得参数。

左侧即为朴素的ReLU激活函数，而右侧即为PReLU激活函数，形式化的定义方式如下

$$\text{PReLU}(y)=\{\begin{array}{cc}y& y\ge 0\\ ay& y<0\end{array}$$

在a的值固定为小常数$ϵ$时，PReLU变换为Leaky ReLU。由于PReLU引入了参数，我们可以令该参数为全局共享或是通道共享，获得不同的效果。根据论文中的实验结果，PReLU可以将ILSVRC 2012 数据集的top5的错误率降至4.94%，首次超越了人类的5.1%，的确可以带来模型表现效果的提升，但是近些年来没有太多模型使用PReLU，说明PReLU的作用以trick居多。

权重初始化

个人认为指导整流线性网络（以ReLU为主而不是Sigmoid作为激活函数的网络）卷积层权重初始化的方式才是这篇文章的精髓。

对于第$l$层的卷积层，如果只考虑卷积区域的结果，因为卷积是线性操作，则输出的结果可以表示为如下形式

$${\text{y}}_l={\text{W}}_l{\text{x}}_l+{\text{b}}_l$$

设输入${\text{x}}_l$为$k\times k\times c$的规模，$k$为卷积核的长度和宽度，$c$为输入的通道大小，输出通道的大小（卷积核的个数）为$d$，令$n=k^{2}c$，则${\text{W}}_l$的大小为$d\times n$，也就是卷积核对应的矩阵。可以理解成将输入${\text{x}}_l$拍扁成$n\times 1$的向量，然后使用矩阵乘法的方式求卷积。

如果${\text{y}}_l,{\text{W}}_l,{\text{x}}_l$中每个矩阵(向量)中的值都是独立同分布的，那么有如下式子

$$\text{Var}[y_l]=n\text{Var}[w_l{x}_l]$$

其中$y_l,w_l,x_l$分别为${\text{y}}_l,{\text{W}}_l,{\text{x}}_l$某位置上的值，如果假设$x_l$的均值为0，则有

$$\text{Var}[y_l]=n\text{Var}[w_l]\text{E}[x_l^2]$$

如果我们使用激活函数为ReLU，则有$x_l=\text{ReLU}(y_{l-1})$。如果我们令$w_l$的分布是关于0对称的，$b_{l-1}=0$，那么$y_{l-1}$的分布就是关于0对称的，因此有

$$\text{E}[x_l^2]=\frac{1}{2}\text{Var}[y_{l-1}]$$

根据递推式可以得到如下表达式

$$\text{Var}[y_L]=\text{Var}[y_1]\prod _{l=2}^L\frac{1}{2}{n}_l\text{V}ar[w_l]$$

如果想要避免梯度爆炸和梯度消失，最好的初始化卷积层参数的方法是令参数满足如下式子

1 2 n l Var [ w l ] = 1          ∀ l ∈ { 1 , 2 , . . . L } \frac{1}{2}n_l \text{Var} [w_l] = 1\;\;\;\; \forall l \in \{1,2,...L\} 21​nl​Var[wl​]=1∀l∈{1,2,...L}

也就是说，令第$l$层的卷积核分布为$N(0,\frac{2}{n_l})$，$b_l$初始化为0。

核心观点

1. 非线性激活函数ReLU构成的网络，不能采用Xavier的初始化方法，而应当用$w_l \sim N(0,\frac{2}{n_l});;b_l = 0 $的方式。
2. PReLU替换ReLU可以改善模型的表现，但是trick居多。