ICS问题

由于参数更新的原因导致神经网络中每层的参数不再满足独立同分布。

简单举例

你在训练的时候用的都是黑猫的图片来训练模型让它判别图片是否是猫。

但是在验证时却全给的是白猫，这就是训练集和验证集不符合独立同分布的一种情况。

而在神经网络中，每一次上一层的输出都可以当成是当前层的输入。

而随着网络层数的增加，越往后网络的参数变化越大，越容易不满足独立同分布的情况。

为了解决这种问题我们目前通常使用三种方法

标准化，归一化，和自适应激活函数的方法

归一化

将数据变幻到均值为0方差为1。

标准化：x'=(x-μ)/∂

另外的自适应函数则是通过调整激活函数来解决数据分布不同分布的问题。

在din模型中会有例子。