Xavier公式的原理

数学原理：

(1) 前向传播的方差一致性

假设输入 x 的均值为 0，方差为 ${\sigma }_x^2$，权重 W的均值为 0，方差为 ${\sigma }_W^2$，则输出 $z=Wx$的方差为：
$$Var(z)=n_{in}\cdot Var(W)\cdot Var(x)$$
为了使 Var(z)=Var(x)，需要：
$$n_{in}\cdot Var(W)=1⟹Var(W)=\frac{1}{n_{in}}$$
其中 $n_{in}$是输入维度（fan_in）。这里乘以 nin 的原因是，输出 z 是由 nin 个输入 x 的线性组合得到的，每个输入 x 都与一个权重 W 相乘。因此，输出 z 的方差是 nin 个独立的 Wx 项的方差之和。

(2) 反向传播的梯度方差一致性

在反向传播过程中，梯度 $\frac{\partial L}{\partial x}$ 是通过链式法则计算得到的，其中 L 是损失函数，x 是输入，z 是输出。梯度$\frac{\partial L}{\partial x}$可以表示为：
$$\frac{\partial L}{\partial x}=\frac{\partial L}{\partial z}.\frac{\partial z}{\partial x}$$
假设 z=Wx，其中 W 是权重矩阵，那么 $\frac{\partial z}{\partial x}=W$。因此，梯度 $\frac{\partial L}{\partial x}$可以写为： $\frac{\partial L}{\partial x}=\frac{\partial L}{\partial z}W$

反向传播时梯度 $\frac{\partial L}{\partial x}$ 的方差应与 $\frac{\partial L}{\partial z}$ 相同，因此：
$$n_{out}\cdot Var(W)=1⟹Var(W)=\frac{1}{n_{out}}$$
其中 $n_{out}$是输出维度（fan_out）。为了保持梯度的方差一致性，我们需要确保每个输入维度 nin 的梯度方差与输出维度 nout 的梯度方差相同。因此，我们需要将 W 的方差乘以 nout，以确保梯度的方差在反向传播过程中保持一致。

(3) 综合考虑

为了同时平衡前向传播和反向传播，Xavier 采用：
$$Var(W)=\frac{2}{n_{in}+n_{out}}$$
权重从以下分布中采样：

均匀分布：
$$W\sim \mathrm{U}\left(-\frac{\sqrt{6}}{\sqrt{n_{\mathrm{in}}+n_{\mathrm{out}}}},\frac{\sqrt{6}}{\sqrt{n_{\mathrm{in}}+n_{\mathrm{out}}}}\right)$$

在Xavier初始化中，我们选择 $a=-\sqrt{\frac{6}{n_{in}+n_{out}}}$ 和 $b=\sqrt{\frac{6}{n_{in}+n_{out}}}$，这样方差为：
$$Var(W)=\frac{(b-a{)}^2}{12}=\frac{(2\sqrt{\frac{6}{n_{in}+n_{out}}}{)}^2}{12}=\frac{4\cdot \frac{6}{nin+nout}}{12}=\frac{2}{n_{in}+n_{out}}$$
正态分布：
$$W\sim \mathrm{N}\left(0,\frac{2}{n_{\mathrm{in}}+n_{\mathrm{out}}}\right)$$

$$\mathcal{N}(0,{\text{std}}^2)$$

其中 $$n_{\text{in}}$$ 是当前层的输入神经元数量，$$n_{\text{out}}$$是输出神经元数量。

在前向传播中，输出的方差受 $n_{in}$ 影响。在反向传播中，梯度的方差受 $n_{out}$ 影响。