【深度学习理论】(4) 权重初始化，Batch Normalization

各位同学好，最近学习了CS231N斯坦福计算机视觉公开课，讲的太精彩了，和大家分享一下。

1. 权重初始化

1.1 相同的初始化权重

神经网络中的所有权重都能通过梯度下降和反向传播来优化和更新。现在问题来了，如果每一层的权重全部初始化为同一个常数，不同层的常数可以不一样，会发生什么呢。

这样会导致同一层的所有神经元前向传播和反向传播完全相同。

如下图，前向传播过程中，每一个隐层接收到的输入是一样的(x1,x2,...)，每个隐层神经元对应每个输入神经元的权重又是相同的，那么每个隐层神经元的输出是一样的。那么它们反向传播回来的梯度肯定是一样的。

相当于隐含层只有一个节点有作用，其他隐层神经元的输入和输出都和它一样，即使有五百个神经元，也只能学习到一个神经元的特征，这和只有一个神经元没有区别。 

因此，多层神经网络不能将权重初始化为同一个数，否则无法打破对称性。

---

1.2 过小的初始化权重

那现在给每个权重随机初始化，比如使用numpy的随机标准正态分布（均值=0，方差=1），如下，Din代表上一层的神经元个数，Dout代表本层的神经元个数。乘以0.01进行幅度缩放。

# 生产Din行Dout列的矩阵，每个元素都服从标准正态分布
w = 0.01 * np.random.randn(Din, Dout)

现在使用6层神经网络，每一层都有4096个神经元，使用双曲正切tanh激活函数（输出在-1到1之间），用直方图表示每一层的输出分布。如下图，我们发现，越往后面的层，神经元的输出就越接近于0，标准差越来越小接近0

每个神经元的输出结果：