Xavier 初始化

Xavier 初始化

为什么在 $$W^{[l]}=np.random.randn(shape)\times np.sqrt(\frac{1}{n^{[l-1]}})$$ 中需要乘以 $np.sqrt(\frac{1}{n^{[l-1]}})$

---

Xavier 初始化通过保持输入和输出之间的方差不变来尽可能避免梯度爆炸/消失。

它假设每个神经元的输入和输出是从一个均值 $\mu$ 为零、方差 ${\sigma }^2$ 相同的分布中抽样得到的，而这个分布的方差可以通过输入和输出的维度来估计。

对于权重矩阵 $W^{[l]}$ 采用高斯分布来初始化：$\mathcal{N}(0,{\sigma }^2)$

若 $W^{[l]}$ 方差很大（取值范围非常广泛） $\to$ $l$ 层的输出值 $z$ 很大

$\to$ 激活函数 $a$ 的斜率很大（$l$ 层的输出 $z$ 就是 $a$ 的输入）

$\to$ $l$ 层权重的梯度变大（$l$ 层权重的梯度与激活函数的斜率成正比）

$\to$ 可能引发梯度爆炸

• 主要零均值： 高斯分布的均值为零，这意味着在初始化权重时，期望值为零，不会引入任何偏差。

  若 $\mu !=0$，就会引入一个初始的偏差（记为 bias_orig）。假设 $a=g(z)$，且只有一个输出层。
  

  $\hat{y}=Wx+b$

  当引入偏差之后，$\hat{y}=Wx+b+$