深度学习之参数初始化

为什么要学习参数初始化？

我们都知道，神经网络模型一般是通过随机梯度下降法来训练模型、学习参数。

我们在使用随机梯度下降法的时候需要先给参数赋初值，那么合理正确地初始化参数，能够影响到算法的收敛性、减小泛化误差等。 

如果使用的框架是TensorFlow，那么在看完博客后可以看看下面这篇博客，整理了对变量进行初始化的各种函数API。

下面整理参数初始化的方式时只给出了公式，根据公式套用下篇博客函数来实现代码。

（链接）使用TensorFlow对变量进行初始化

参数初始化的方式：

一、全零初始化  (Zero Initialization)

所谓全零初始化就是把网络中的所有参数都初始化为零，这样做可以使初始化全零时参数的期望和网络稳定时参数的期望一致为零。

但是，这样做之后，网络中不同的神经元的输出一定全部相同，相同输出则导致梯度更新完全一样，那么所有的参数在更新之后仍然是全部相同的，那么也就是说，网络神经元将毫无能力对此作出改变，从而无法训练模型。

 

二、随机初始化  (Random Initialization)

随机初始化有两种：

• 正态分布初始化：又称高斯分布初始化，参数从一个固定均值和固定方差的高斯分布进行随机初始化。