权重偏差初始化

1. 全都初始化为0

偏差初始化陷阱：都初始化为 0。
产⽣陷阱原因：因为并不知道在训练神经⽹络中每⼀个权重最后的值，但是如果进⾏了恰当的数据归
⼀化后，我们可以有理由认为有⼀半的权重是正的，另⼀半是负的。令所有权重都初始化为 0，如果
神经⽹络计算出来的输出值是⼀样的，神经⽹络在进⾏反向传播算法计算出来的梯度值也⼀样，并且
参数更新值也⼀样。更⼀般地说，如果权重初始化为同⼀个值，⽹络就是对称的。
形象化理解：在神经⽹络中考虑梯度下降的时候，设想你在爬⼭，但⾝处直线形的⼭⾕中，两边是对
称的⼭峰。由于对称性，你所在之处的梯度只能沿着⼭⾕的⽅向，不会指向⼭峰；你⾛了⼀步之后，
情况依然不变。结果就是你只能收敛到⼭⾕中的⼀个极⼤值，⽽⾛不到⼭峰上去。

2. 全部初始化为同样的值

如果神经网络中的权重全部初始化为相同的值，通常会出现以下问题：

1. 对称性问题：如果所有的权重都相同，那么在前向传播中，每个隐藏单元都会接收相同的输入信号，这会导致所有隐藏单元学习相同的特征。这会导致网络的层级结构丧失，因为所有单元都在执行相同的操作，降低了网络的表达能力。

2. 梯度消失或梯度爆炸：在反向传播过程中，由于权重相同，所有权重的梯度也将相同。这可能导致梯度消失或梯度爆炸问题，这在深层网络中尤为严重，因为在反向传播中，梯度会以指数级别增加或减少，从而使权重调整变得异常困难。

为了解决这些问题，通常采用随机初始化权重的方法，以打破对称性并使每个神经元学习不同的特征。常见的权重初始化方法包括均匀分布、正态分布和截断正态分布。这些方法有助于确保神经网络可以有效地学习和收敛。

3. 初始化为小的随机数

是的，通常将神经网络的权重初始化为小的随机数是一种有效的策略，以避免对称性问题和梯度问题。这被称为随机初始化。具体来说，一些常见的随机初始化方法包括：

1. 均匀分布随机初始化：在指定的范围内，随机生成权重，例如在 [-0.1, 0.1] 或 [-0.01, 0.01] 之间。这有助于打破对称性。

2. 正态分布随机初始化：使用均值为0和较小标准差的正态分布（通常在0附近），以初始化权重。这也有助于打破对称性，并且适用于许多神经网络架构。

3. 截断正态分布随机初始化：与普通的正态分布不同，这里可以指定一个截断标准差，以确保权重的值在某个范围内。

这些随机初始化方法有助于确保每个神经元在训练过程中学习不同的特征，从而提高神经网络的性能和训练速度。选择适当的初始化方法取决于网络的体系结构和问题的特性。