Deep learning II - I Practical aspects of deep learning - Normalizing inputs 输入归一化

Normalizing inputs 输入归一化

---

1. 输入归一化能够加快训练速度
2. 首先，将输入减去均值

$$\mu = \frac{1}{m} \sum_{i=1}^m x^{(i)}$$
$$x := x - \mu$$
3. 其次，方差归一化
$$\sigma ^2 = \frac{1}{m} \sum_{i=1}^m x^{(i)}**2 (** means element-square)$$
$$x: = x/ \sigma^2$$
4. 使用在test set得到的$\mu, \sigma^2$来处理dev set 或者test set

如果输入的变量范围差别很大（0-1，0-1000），那就很有必要使用上述方法