李宏毅机器学习入门笔记——第五节

类神经网络训练不起来的问题解决方式

标准化

对于 error surface 比较崎岖，难以训练的问题，就是可以使用batch normalization。对于不同的变量维度而言，如果差值比较大的时候，存在将预测的结果变大，导致训练的方向不理想。
对于不同变量的同一纬度使用归一化操作，即是标准化操作。

要注意的是变量的每一个维度代表一个维度。
对于每个神经网络层都可以增加标准化层。其中要注意的是层的前后顺序。

当神经网络输入的变量考虑多个输入的时候，对于标准化层，能够通过计算输入的所有变量的标准差和平均值，进行所有的变量进行标准化操作。就是俗称的batch normalization。batch表示就是批量的输入，需要考虑的就是网络的大小。

使用多两个额外的参数，是network的参数，因为之前的标准化操作，使得对应的输出值平均为0，但是往往希望平均不是0，不影响对应的模型，所以添加这个两个变量，使对应的均值不是0，主要是看模型的训练，可能是均值0，可能不是。
需要考虑对