Deep Belief Network深度信念网

本文参考Hinton2007年发表的一篇论文，链接在此

（一）简介

• 深度信念网是由多层随机潜变量latent variables (“hidden units”)构成的概率生成模型，是一种图模型，或者也可以看作一种深度神经网络。
• 当基于一组样本无监督的训练DBN时，DBN学习去概率性的重构自己的输入信号。When trained on a set of examples without supervision, a DBN can learn to probabilistically reconstruct its inputs.
  无监督训练完成以后，再有监督地训练就可以实现分类任务。After this learning step, a DBN can be further trained with supervision to perform classification.

生成模型是建立一个观察数据和标签之间的联合分布，对P(Observation|Label)和 P(Label|Observation)都做了评估，而判别模型仅仅而已评估了后者，也就是P(Label|Observation)。

• 隐层单元是用于学习显层数据中的高阶相关性。
• 最底层单元的状态表示一个数据向量。(the lowest visible layer is a training set)
• 最上面的两层之间有无向的对称连接，形成联想记忆。
• 较低的层从上面的层接收自顶向下的、定向的连接。

DBN的两个最重要的属性：

1. 高效的，一层一层的过程，用于学习自顶向下的权重，这些权重决定了一层中的变量如何依赖于上一层中的变量。<