PyTorch学习笔记（三）参数初始化与各种Norm层

Environment

• OS: macOS Mojave
• Python version: 3.7
• PyTorch version: 1.4.0
• IDE: PyCharm

0. 写在前面

数据在神经网络模型的层与层之间传播，数据过大或或小都会使训练遇上麻烦。合理的参数初始化和 Normalization 能够使模型中数据分布合理，让训练能够顺利地进行。

1. 初始化

PyTorch 中的 torch.nn.init 模块提供了十种初始化的方式，这里简单记录一下。

为改善梯度消失和爆炸的问题，需要保证神经网络中数据分布在合适的范围，这就是方差一致性。经典的 Xavier 和 kaiming 初始化都是从这个原则得来。

对于两个独立随机变量，它们乘积的方差为

$$\begin{gathered} D(XY)\stackrel{方差的定义}{=}E[(XY-E(XY){)}^2] \\ =E[X^2{Y}^2-2XYE(XY)+E^2(XY)] \\ \stackrel{期望的线性性质}{=}E(X^2{Y}^2)-2E^2(XY)+E^2(XY)=E(X^2{Y}^2)-E^2(XY) \end{gathered}$$
因为，当 X, Y 相互独立时
$$E(XY)=E(X)E(Y),E(X^2{Y}^2)=E(X^2)E(Y^2)$$
所以，
$$D(XY)=E(X^2)E(Y^2)-[E(X)E(Y){]}^2$$
又因
$$E(X^2)=D(X)+E^2(X),E(Y^2)=D(Y)+E^2(Y)$$
进一步转化
$$\begin{gathered} D(XY)=[D(X)+E^2(X)][D(Y)+E^2(Y)]-[E(X)E(Y){]}^2 \\ = \end{gathered}$$