72、神经网络与TensorFlow特殊数据结构详解

神经网络与TensorFlow特殊数据结构详解

1. 神经网络相关模型介绍

1.1 受限玻尔兹曼机（RBM）

在图像分类任务中，可使用可见神经元对训练图像的类别进行编码。例如，添加10个可见神经元，当训练图像代表数字5时，仅激活第5个神经元。之后，当输入新图像时，网络会自动激活相应的可见神经元，以此指示图像的类别。

然而，训练玻尔兹曼机并没有高效的技术。不过，已经开发出了相当高效的算法来训练受限玻尔兹曼机（RBM）。RBM是一种特殊的玻尔兹曼机，其可见单元之间以及隐藏单元之间没有连接，仅在可见单元和隐藏单元之间存在连接。

2005年，Miguel Á. Carreira - Perpiñán和Geoffrey Hinton引入了一种名为对比散度（Contrastive Divergence）的高效训练算法，其工作流程如下：
1. 对于每个训练实例x，将可见单元的状态设置为$x_1, x_2, \cdots, x_n$，以此将训练实例输入到网络中。
2. 应用之前描述的随机方程（方程E - 1）计算隐藏单元的状态，得到隐藏向量h（其中$h_i$等于第i个单元的状态）。
3. 再次应用相同的随机方程计算可见单元的状态，得到向量xʹ。
4. 再次计算隐藏单元的状态，得到向量hʹ。
5. 应用方程E - 2更新每个连接权重，其中η是学习率。

方程E - 2：对比散度权重更新公式
$w_{i,j} \leftarrow w_{i,j} + \eta (xh - x’h’)$

该算法的巨大优势在于，它无需等待网络达到热平衡，只需进行一次前向传播、一次反向传播，再进行一次