深度学习入门笔记手稿（五）其他正则化方法

其他正则化方法

除了L2正则化和随机失活（dropout）正则化，还有几种方法可以减少神经网络中的过拟合.

1.假设正在拟合猫咪图片分类器，由于扩增训练数据代价高，有时通过水平翻转图片，这样会让训练集有冗余，效果虽然不如心搜集图片好，但是节省了收集图片的时间成本，还可以通过放大，旋转，裁剪。

2。另外一种方法叫做，earlystop

运行梯度下降时，我们可以绘制训练误差或者代价函数的图像，也可以绘制验证集上的代价函数，逻辑损失和对数损失等。会发现，验证集误差通常会先下降然后在某个节点开始上升，而earlystop可以找到这个点，在这里停止训练

如何作用的呢？

当还未在网络上运行太多迭代过程的时候，参数w约等于0，因为随机初始化w值时，它的值可能都是较小的随机值，在迭代过程中和训练过程中，w会越来越大，所以early stop就是要在中间点停止迭代过程得到一个w值中等大小的弗洛尼乌斯范数与L2正则化相似选择参数w较小的网络。

机器学习过程步骤

机器学习过程步骤其中一步为选择一个算法来优化代价函数，如梯度下降，优化后避免过拟合，可用正则化，扩增数据等。
减少方差可用“正交化”，思路一个时间做一个任务i
earlystop 主要缺点是，因为提早停止梯度下降，也就停止了优化，所以J的值可能不够小，同时又不希望出现过拟合

如果不用early stop 另一种方法为L2正则化，训练神经网络时间很长，这让超参数搜索空间更容易分解和搜索，缺点在于要更多次的尝试正则化参数lamdar 值，会导致搜索大量的lamdar值计算代价太高，
而early stop优点为只运行一次梯度下降就能确定w的较小值，中间值，和较大值。