fuqiuai的博客

过拟合概念过拟合是指学习的模型包含的参数太对，以至于出现对已知数据预测的很好，但对未知数据预测的很差的现象；模型过拟合等价于模型泛化能力差。如何处理过拟合？1. L1/L2正则化(regularization)2. 数据增强(data augmentation)3. dropout4. early stopping(早停法)1. L1/L2正则化1.1 L1/L2概念L1和L2是...

Batch_Normalization（BN/批标准化）1. BN概念传统的神经网络，只是在将样本x输入输入层之前对x进行标准化处理，以降低样本间的差异性。BN是在此基础上，不仅仅只对输入层的输入数据x进行标准化，还对每个隐藏层的输入进行标准化。（那为什么需要对每个隐藏层的输入进行标准化呢？或者说这样做有什么好处呢？这就牵涉到一个Covariate Shift问题）2. Covariate...