深度学习（1）--小总结（验证训练、方差误差、L1L2正则化、dropout、提前停止、输入归一化、梯度爆炸和消失、梯度检验）

用交叉验证集验证哪个算法更加优秀，使用测试集测试准确率。
常用比例：当数据量较少，比如1万，可以6:2:2划分训练，验证，测试，或者7:3划分验证，测试。当数据量较大，比如百万级，可以仅取1万验证，1万测试，不用拘泥于比例而在于实际！
由于深度学习需要大量数据，所以有可能网络上抓取的数据也作为训练数据，但是注意，一定要分布相同。就是说，网上的数据也按比例划分到测试验证训练，本身的数据也同样按比例划分。
测试集是为了对算法做无偏估计，所以没有测试集也是ok的，但此时一般称验证集为测试集。

高方差与高偏差的判断

（之前学习机器学习时只知道过拟合对应高方差等，不知道直接使用验证集损失和训练集损失就可以直接判断）

在最优误差(贝叶斯误差趋近于0的情况下，简言之就是人为误差接近于0):高方差对应过拟合，所以计算训练集与验证集的准确率就可以判断是否高方差，比如训练集准确率99％，验证集90％，就可以认为高方差了。高偏差对应欠拟合，训练集和验证集正确率都较低，比如训练85％，验证84％。
而当贝叶斯误差本身就较高的情况下，比如贝叶斯误差为15％（相当于某些情况人为判断都无法判断），训练85％，验证84％就是比较好的情况了。(理解:相当于人为也不能判断，那先验概率低，所以对误差更加容忍)

举例：手写数据集分类中，如果部分取样15%人为都无法区分，无法确定标签，那可以认为贝叶斯误差15%

高方差和高偏差的解决

对于高偏差问题:增大网络模型，更换网络结构，（通过一些方式减少特征数量）（如果采用某些正则化方式，减少λ，也类似等价于调整网络参数结构）
对于高方差问题:增大数据量，正则化防止过拟合(虽然对于偏差可能会略微增加，但是对于大网络可以忽略不计，所以可以换大网络再利用正则化实现无代价减小偏差方差)，更换网络结构，（通过一些方式增加特征数量）（如果采用某些正则化方式，增大λ，也类似等价于调整网络参数结构）

L1、L2正则化

L1正则化会造成权重稀疏，L2正则化即二范数平方。所以常用L2正则化

dropout正则化

dropout正则化(随机失活正则化)，让某些节点直接归0，简化节点，常用方法inverted dropout反向随机激活。dropout会压缩函数，因为任何一个节点都可能会被随机删除所以导致节点的权重将不会太大，防止过拟合。可以设置某些层dropout的比例，但一般来讲输入层和节点较少的层一般保留1.0(不做任何删除)。

下图左为正常DNN，右为dropout后