73、深度学习中的特殊网络与 TensorFlow 特殊数据结构

深度学习中的特殊网络与 TensorFlow 特殊数据结构

1. 受限玻尔兹曼机（RBM）

在深度学习中，玻尔兹曼机训练缺乏高效技术，但受限玻尔兹曼机（RBM）有相对高效的训练算法。RBM 是一种特殊的玻尔兹曼机，其可见单元之间、隐藏单元之间没有连接，只有可见单元和隐藏单元之间有连接。

2005 年，Miguel Á. Carreira - Perpiñán 和 Geoffrey Hinton 引入了对比散度（Contrastive Divergence）这一高效训练算法，其步骤如下：
1. 对于每个训练实例 x，将可见单元的状态设置为 (x_1, x_2, \cdots, x_n) 输入到网络。
2. 应用随机方程计算隐藏单元的状态，得到隐藏向量 h（其中 (h_i) 等于第 i 个单元的状态）。
3. 再次应用相同的随机方程计算可见单元的状态，得到向量 (x’)。
4. 再次计算隐藏单元的状态，得到向量 (h’)。
5. 使用公式 (w_{i,j} \leftarrow w_{i,j} + \eta (xh^{\top}-x’h’^{\top})) 更新每个连接权重，其中 (\eta) 是学习率。

该算法的优点是无需等待网络达到热平衡，只需进行前向、反向、再前向传播，比之前的算法效率高很多，是基于多个堆叠 RBM 的深度学习首次成功的关键因素。

2. 深度信念网络（DBN）

多个 RBM 层可以堆叠，第一层 RBM 的隐藏单元作为第二层 RBM 的可见单元，以此类推，这种 RBM 堆栈称为深度信念网络（DBN）。Geoffrey Hinton 的学生 Yee - Whye Teh 发