深层神经网络

采用多层可以对特征进行不同层次的抽象，从而简化学习问题。

基础概念

前馈神经网络信号从输入层向输出层单向传播，网络中无反馈，可用一个有向无环图表示

分类

按照深层网络中每一层的（编码-解码）结构可以分为三类，
一，包括编码和解码两部分。RBM系类，组成DBN；AutoEncodor系列，如Sparse AutoEncodor、Denoise AutoEncodor、 contractive autoencoder, saturating autoencoder等
二，只包含解码部分。比如sparse coding, deconvolution network.
三，只包含编码部分。一般的前馈网络。

学习算法

目标函数

损失函数

• 均方误差
• 距离函数（如欧式距离）
• 极大似然函数（softmaxwithloss）
• 交叉熵损失函数
• 更多

BP算法

基于梯度的算法

训练中的困难
不同层的训练速度不同，低层的训练较高层慢，也可能高层的训练较低层慢，原因是梯度不稳定，存在梯度消失问题（vanishing gradient problem）、梯度爆发问题（exploding gradient problem）,在使用sigmoid函数的神经网络中容易存在梯度消失问题。
均方误差
对单层神经网络，将需要调整的参数，包括偏置值，组成一个向量 $\bigl( \begin{smallmatrix} a & b \\ c & d \end{smallmatrix} \bigr)$
LMS算法

参考文献

1.http://neuralnetworksanddeeplearning.com/chap5.html