【学习杂记】Xavier初始化

---

前言：

有时由于数据的稳定性不高，会带来梯度爆炸和梯度消失的问题。解决这样的问题有很多方式，例如让乘法变加（ResNet和LSTM的方式），归一化（比如梯度归一化），再者就是合理地初始化权重和选择激活函数。今天学了一下Xavier初始化，记录一下.

---

1.缘起

我们将梯度和每一层的输出都看做随机变量。

为了让模型稳定，假如我们期望的事情是让每一层的输出的期望和方差一直保持一致，也就是：
$$\begin{gathered} \forall i,t: \\ 正向时:E[h_i^t]=0,Var[h_i^t]=a \\ 反向时:E[\frac{\partial l}{\partial h_i^t}]=0,Var[\frac{\partial l}{\partial h_i^t}]=b \end{gathered}$$
其中$i$是当前层第$i$个元素，$t$是层数。

感觉Batch Norm干的就是这件事情。
这样的意义是，不管网络有多深，每一层的输出和梯度统计上来看都差不多，就会比较好。

假设，我们的模型是MLP， 我们想满足上面的条件，还假设：

1. $w_{i,j}^t是i.i.d.$,则$E[w_{i,j}^t]=0,Var[w_{i,j}^t]={\gamma }_t$
2. $h_i^{t-1}$和$w_{i,j}^t$独立，也就是第$t$层的输入和权重独立
3. 假设没有activation function，没有bias.

则在第$t$层：
$${\mathbf{h}}^t={\mathbf{W}}^t{\mathbf{h}}^{t-1},{\mathbf{W}}^t\in {\text{R}}^{n^t\times n^{t-1}}$$
其中$n^t,n^{t-1}$是本层输出和输入的维数。

考察第$i$个输出:
$$\begin{gathered} E[h_i^t]=E[\sum _j{w}_{i,j}^t{h}_j^{t-1}] \\ =(均值的线性性,w和h独立)\sum _{j}E[w_{i,j}^t]E[h_j^{t-1}]=0 \end{gathered}$$

$$\begin{gathered} Var[h_i^t]=E[(h_i^t{)}^2]-E^2[h_i^t]=E[(h_i^t{)}^2] \\ =E[(\sum _j{w}_{i,j}^t{h}_j^{t-1}{)}^2] \\ =E[\sum _j(w_{i,j}^t{h}_j^{t-1}{)}^2+\sum _{j\ne k}{w}_{i,j}^t{w}_{i,k}^t{h}_j^{t-1}{h}_k^{t-1}] \\ =(w_{i,j}是iid,协方差为0,w和h独立)\sum _{j}E[(w_{i,j}^t{)}^2]E[(h_j^{t-1}{)}^2] \\ =(均值为0)\sum _{j}Var[w_{i,j}]Var[h_j^{t-1}] \\ =(w方差是{\gamma }_t,t-1层维数为n^{t-1})n^{t-1}{\gamma }_{t}Var[h_j^{t-1}] \end{gathered}$$

如果我们要求两层之间方差相等，就要满足：
$$n^{t-1}{\gamma }_t=1$$

反向同理：
$$\frac{\partial l}{\partial {\mathbf{h}}^{t-1}}=\frac{\partial l}{\partial {\mathbf{h}}^t}\frac{\partial {\mathbf{h}}^t}{\partial {\mathbf{h}}^{t-1}}=\frac{\partial l}{\partial {\mathbf{h}}^t}{\mathbf{W}}^t$$

具体到第$i$个元素，有如下关系：
$$\frac{\partial l}{\partial h_i^{t-1}}=\sum _j\frac{\partial l}{\partial h_i^t}{w}_{i,j}$$
将其记为:
$$a_i^{t-1}=\sum _j{a}_i^t{w}_{i,j}$$
所以，和正向传播具有完全相同的形式，只是前面的层数标号是$t-1$，后面是$t$，和正向传播的对调了。完全一样的过程，得到：

$$Var[a_i^{t-1}]=n^t{\gamma }_{t}Var[a_i]$$

所以反向传播得到的结论是：
$$n^t{\gamma }_t=1$$
 \space 

2.Xavier初始化

但是$n^{t-1}{\gamma }_t=1且n^t{\gamma }_t=1$这个条件太强，我们不可能让每一层的特征维数都相同。因此采取一种折中的方式：
$$\begin{gathered} \frac{{\gamma }_t(n^{t-1}+n^t)}{2}=1 \\ 也即{\gamma }_t=\frac{2}{(n^{t-1}+n^t)} \end{gathered}$$

我们可以找到两种分布来满足这种方差：

1. 正态分布$N(0,\frac{2}{(n^{t-1}+n^t)})$
2. 均匀分布$U(-\sqrt{\frac{6}{(n^{t-1}+n^t)}},\sqrt{\frac{6}{(n^{t-1}+n^t)}})$

这种方式就是Xavier初始化。
 \space 
 \space 

多记一句：对于激活函数，可以采用相似的论证方式，结论是若要保持均值为0方差常数，越接近$y=x$的激活函数越好。因此这也解释了为什么ReLU和Tanh的表现略微好于Sigmoid。