RBM DBN（SIMPLIFIED）

RBM

结构：
是一个两层的简易神经网络，一个是可见层用来输入，一个是隐藏层。整体可看作全连接，包含正向和反向传播两个过程。
是由Hinton大神的观点演化来的，属于自编码网络。

目标：

• 克服梯度消失问题
• 最大似然化（正向传播后在进行反向传播，是反向传播后的结果尽量和原结果一样）

特点：

• 输入的数据无需标签，可以是不经过处理的图像，文字，语音，视频等信息。

为什么是”受限的“：
因为在相同层没有两个节点共享连接
参考http://blog.youkuaiyun.com/roger__wong/article/details/43374343

DBN

深度信念网络（deep belief nets）

结构：
多层的RBM

如何解决梯度弥散：
用RBM预训练每一层网络，每一层的输出为下一层的输入

优点：
与训练之后只需要少量的带标签数据就可以训练整个网络，训练时间短且精度高。