深度学习(二) 正则、BN、梯度消失

深度学习(二) 正则、BN、梯度消失

2.1 正则化

• L1、L2正则
• 数据增强，例如加入随机噪声，输入时加入，在隐藏层加入(方差极小的噪声)；图像平移，旋转，色彩变化
• Early stopping 验证集的训练误差在一定轮数没有降低，则停止训练
• 参数共享 Weight Sharing CNN
• Bagging，构建不同的数据集，训练不同的模型，取平均，降低方差
• dropout 随机化断开连接。可以被认为是在深度神经网络做中bagging 提供了类似的bagging的集成。与bagging不同的是，dropout中的网络共享参数 bagging每一个模型训练到收敛，而drop out中的网络的每一个网络没有训练到收敛。预测的时候，每一个单元的参数要预乘以p。除了正则，drop out还带在模型中引入了稀疏性，引入输出向量的稀疏性
• BN 有一定的正则化作用，他在mini-batch上取平均，加入噪音，加入了正则
• 对抗样本训练 在训练完成的网络上，构造对抗样本,$x+\alpha\Delta_xJ(w;x,y)$

2.2 Batch Normalization
  covariate shift：
    这个现象指的是训练集数据分布与预测集数据分布不一致。这个问题的解决方法是重新赋予训练集数据新的权重。
    对于样本$x_i$，它在训练集中的分布是$q(x_i)$，在 预测集中的真实分布是$p(x_i)$，它的新权重就是$\frac{p(x_i)}{q(x_i)}$
    分布如何确认？
      从训练集与验证集采样数据，分别标注为1，-1，
      训练LR分类器进行分类，如果测试集上的表现好，则训练集数据分布不一致

p(z=1|xi)=