Dropout中隐层节点的忽略比例与DAE中加噪比例参数的区别

学习过Dropout后，对于Dropout中隐层节点的忽略比例与DAE（denoising auto ender）中加噪比例参数的区别有些困惑，下面的区别，是基于几天的学习总结而来，若有不同观点，希望能留言告知，共同学习。

Dropout在标准的BP网络的基础上，使该网络的隐层节点的值，按照一定的比例k（0<k<1）变为0，也就是随机地使部分隐层节点失效（失效的隐层节点数为隐层总节点数的k倍）。每次训练的网络都是不一样的，可以看做一个新的模型。最后将来自不同模型的预测值通过一定的权重平均得到最后的预测值。Dropout可以看做通过模型平均来求最后的预测值，这种方法可以在样本数目较少时，有效地防止过拟合现象（如何防止过拟合？通过随机地让部分隐层节点失效，可以特征检测间的相互作用，即减少特征之间的依赖关系）。

主要区别：

Dropout中隐层节点的忽略比例主要作用在隐层节点，是按照一定比例，随机地使部分隐层节点失效，并且该比例与最后通过模型平均来求得最后的预测值也有一定的关系。

DAE中加噪比例作用于输入层，是按照一定比例，对每个网络的输入数据加入噪声，使得自动编码器通过学习获得真正的没有被噪声污染过的输入。这种加入噪声的思想，并不需要进行模型平均。