71、深度学习中的特殊网络与TensorFlow数据结构

深度学习中的特殊网络与TensorFlow数据结构

1. 受限玻尔兹曼机（RBM）相关算法

在深度学习中，有一种算法通过应用之前描述的随机方程（方程E - 1）来计算隐藏单元的状态，得到隐藏向量h（h 等于第i个单元的状态）。接着，再次应用相同的随机方程计算可见单元的状态，得到向量x’。然后，又一次计算隐藏单元的状态，得到向量h’。最后，根据方程E - 2中的规则更新每个连接权重，其中η 是学习率。

这个算法的巨大优势在于，它不需要等待网络达到热平衡，只需进行一次前向、一次反向和再一次前向传播即可。这使得它比之前的算法效率高得多，也是基于多个堆叠RBM的深度学习首次取得成功的关键因素。

2. 深度信念网络（DBN）

多个RBM层可以堆叠在一起，第一层RBM的隐藏单元作为第二层RBM的可见单元，依此类推，这样的RBM堆叠结构被称为深度信念网络（DBN）。Geoffrey Hinton的学生Yee - Whye Teh发现，可以使用对比散度（Contrastive Divergence）逐层训练DBN，从较低层开始，逐渐向上训练到顶层。这一发现促成了2006年引发深度学习热潮的开创性文章。

和RBM一样，DBN可以在无监督的情况下学习重现输入的概率分布。不过，DBN在这方面表现得更好，原因和深度神经网络比浅层神经网络更强大一样，现实世界的数据通常具有层次结构，DBN能够利用这一特点。其较低层学习输入数据的低级特征，而较高层学习高级特征。

DBN本质上是无监督的，但也可以通过添加一些可见单元来表示标签，以有监督的方式进行训练。此外，DBN还可以进行半监督学习，具体训练过程如下：
- 无监督训练阶