深度置信网络（Deep Belief Networks）DBN

DBN
一、算法的功能
深度置信网络（Deep Belief Networks）DBN算法是机器学习之神经网络的一种，既可以用于非监督学习，也可以用于监督学习。DBN是一个概率生成模型，与传统的判别模型的神经网络相对，生成模型是建立一个观察数据和标签之间的联合分布。通过训练其神经元间的权重，可以让整个神经网络按照最大概率来生成训练数据。
不仅可以使用DBN来识别特征、分类数据，还可以用它来生成数据。DBN算法是一种非常实用的学习算法，应用范围较广，扩展性也强，可应用于机器学习之手写字识别、语音识别和图像处理等领域。
二、算法结构及原理
1、DBN 由多层神经元构成，这些神经元又分为显性神经元和隐性神经元（以下简称显元和隐元）。显元用于接受输入，隐元用于提取特征。因此隐元也有个别名，叫特征检测器 (feature detectors)。最顶上的两层间的连接是无向的，组成联合内存 (associative memory)。较低的其他层之间有连接上下的有向连接。最底层代表了数据向量 (data vectors)，每一个神经元代表数据向量的一维。
2、受限玻尔兹曼机（ RBM）
（1）DBN 的组成元件是受限玻尔兹曼机 (Restricted Boltzmann Machines, RBM)。训练 DBN 的过程是一层一层地进行的。在每一层中，用数据向量来推断隐层，再把这一隐层当作下一层 (高一层) 的数据向量。
事实上，每一个 RBM 都可以单独用作聚类器。RBM 只有两层神经元，一层叫做显层 (visible layer)，由显元 (visible units) 组成，用于输入训练数据。另一层叫做隐层 (Hidden layer)，相应地，由