74、深度学习中的特殊网络结构与TensorFlow特殊数据结构

深度学习中的特殊网络结构与TensorFlow特殊数据结构

1. 受限玻尔兹曼机（RBM）与深度信念网络（DBN）

在图像分类任务中，可以使用可见神经元对训练图像的类别进行编码。例如，添加10个可见神经元，当训练图像代表数字5时，仅激活第5个神经元。当输入新图像时，网络会自动激活相应的可见神经元，以此指示图像的类别。

然而，训练玻尔兹曼机并没有高效的技术。不过，已经开发出了相当高效的算法来训练受限玻尔兹曼机（RBM）。RBM是一种特殊的玻尔兹曼机，其中可见单元之间或隐藏单元之间没有连接，只有可见单元和隐藏单元之间存在连接。

2005年，Miguel Á. Carreira - Perpiñán和Geoffrey Hinton引入了一种名为对比散度（Contrastive Divergence）的高效训练算法，其工作流程如下：
1. 对于每个训练实例x，将可见单元的状态设置为x₁, x₂, ⋯, xₙ，将其输入网络。
2. 应用之前描述的随机方程（Equation E - 1）计算隐藏单元的状态，得到隐藏向量h（其中hᵢ等于第i个单元的状态）。
3. 再次应用相同的随机方程计算可见单元的状态，得到向量x’。
4. 再次计算隐藏单元的状态，得到向量h’。
5. 应用公式wᵢⱼ ← wᵢⱼ + η (xhᵀ - x’h’ᵀ)更新每个连接的权重，其中η是学习率。

这个算法的优点是不需要等待网络达到热平衡，它只需进行前向、反向和再次前向传播即可，比之前的算法效率高得多，是基于多个堆叠RBM的深度学习首次成功的关键因素。

多个RBM层可以堆叠在一起，第一层RBM的隐藏单元作为第二层RBM的可见单元，以此