参数初始化

转自：http://blog.youkuaiyun.com/u012526120/article/details/49153683

0. 引言

在主成分分析与白化一节中介绍了如何对输入数据进行预处理，在这节中介绍与之类似的另一个问题，参数初始化（Weight Initialization）。

在模型训练之初，我们不知道参数的具体分布，然而如果数据经过了合理的归一化（normalization）处理后，对于参数的合理猜测是其中一半是正的，另一半是负的。然后我们想是不是把参数都初始化为0会是比较好的初始化？这样做其实会带来一个问题，经过正向传播和反向传播后，参数的不同维度之间经过相同的更新，迭代的结果是不同维度的参数是一样的，严重地影响了模型的性能。

1. 小的随机数

我们仍然想要参数接近于0，又不是绝对的0，一种可行的做法是将参数初始化为小的随机数，这样做可以打破对称性（symmetry breaking）。python代码如下：

nn_input_dim = 2
nn_hdim = 3
W = 0.001* np.random.randn(nn_input_dim,nn_hdim)
 
1
2
3

其中randn从均值为0，标准差是1的高斯分布中取样，这样，参数的每个维度来自一个多维的高斯分布。需要注意的是参数初始值不能取得太小，因为小的参数在反向传播时会导致小的梯度，对于深度网络来说，也会产生梯度弥散问题，降低参数的收敛速度。

2. 将方差乘以 1/sqrt(n)

参数随机初始化为一个小的随机数存在一个问题：一个神经元输出的方差会随着输入神经元数量的增多而变大。对于有n个输入单元的神经元来说，考虑 χ2 分布，每个输入的方差是 1/n 时，总的方差是1，因此，我们对每个输入的标准差乘以 1/sqrt(n) ，每个神经元的参数初始化代码为：

w = np.random.randn(n) / sqrt(n)
 
1

其中n为这个神经元输入的个数。这样可以确保神经元的输出有相同的分布，提高训练的收敛速度。

将上面初始化方案推广到网络的一层，对于神经网络的第一层可以这样初始化：

nn_input_dim = 2
nn_hdim = 3
w = np.random.randn(nn_input_dim,nn_hdim) / sqrt(nn_input_dim)
 
1
2
3

Understanding the difficulty of training deep feedforward neural networks文章中给出一个类似的初始化方案：

nn_input_dim = 2
nn_hdim = 3
w = np.random.randn(nn_input_dim,nn_hdim) / sqrt(nn_input_dim+nn_hdim)
 
1
2
3

对于Relu激活神经元，Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification认为每个神经元的方差应该为： 2/n ，其初始化方案：

nn_input_dim = 2
nn_hdim = 3
w = np.random.randn(nn_input_dim,nn_hdim) / sqrt(2.0/nn_input_dim)
 
1
2
3

3. 偏置项的初始化

通常偏置项（bias）初始化为0：

nn_input_dim = 2
nn_hdim = 3
b1 = np.zeros((1, nn_hdim))
 
1
2
3

对于Relu激活神经元来说，可以将偏置项初始化为一个小的常数，比如0.01，但不确定这样做是否提高收敛的表现，在实际应用中，也常初始化为0。

参考内容： 
1. http://cs231n.stanford.edu/syllabus.html