[神经网络]从反向传播（BP）到去噪自动编码器（DAE）

本文主要总结一下神经网络几种训练机制，不仅简单介绍这几种训练机制的步骤和优缺点，而且从发展，进化的角度理清训练机制不断改进的思路和解决方案，以加深对这几种网络的理解，文中没有公式，适合DL入门者。

BP

BP（back propagation ），也叫误差反传播，是传统神经网络（相对于深度神经网络）中采用的训练机制。改方法通过随机设定网络参数的初值，计算输入在当前网络下的输出结果，然后根据输出与label(真值)之间的差值，采用迭代算法对整个网络的参数整体调整，直到收敛。 
特点： 
（1）：采用梯度下降法，迭代地整体调整网络参数 
（2）：随机初始化网络参数 
（3）：采用有标签数据训练 
缺点： 
（1）：整体调整过程中，误差（校正）信号会越来越小，梯度会越来越稀疏