31、受限玻尔兹曼机（RBM）：原理、应用与优化

受限玻尔兹曼机（RBM）：原理、应用与优化

1. 单个受限玻尔兹曼机（Single RBM）

1.1 隐藏向量的计算

隐藏向量的计算方程可视为权重矩阵与可见向量的乘积，公式如下：
[
\mathbf{h} = \mathbf{W} \cdot \mathbf{v} \quad (11.8)
]
其中，$\mathbf{h}$ 是隐藏向量，$\mathbf{W}$ 是权重矩阵，$\mathbf{v}$ 是可见向量。隐藏向量用于结合权重矩阵计算可见向量。

在受限玻尔兹曼机中有两种可见向量：目标可见向量和计算得到的可见向量。可见层和隐藏层之间的权重是随机初始化的，并且使用 Sigmoid 函数作为激活函数。隐藏向量通过权重矩阵与可见向量的乘积来计算，同时，在可见层或隐藏层内可能允许部分连接。

1.2 学习过程

学习过程是使用训练示例对受限玻尔兹曼机进行训练。训练示例为无标签示例，假设每个训练示例的标签与其输入相同。
- 步骤 1：计算隐藏值
- 输入层和隐藏层之间的权重随机初始化，可见向量初始设为输入向量 $\mathbf{v}$。
- 隐藏向量 $\mathbf{h}$ 通过权重矩阵与可见向量的乘积计算得出。与感知机中的输出向量不同，这里的隐藏向量用于计算可见向量。隐藏节点的数量可任意设置，为了最小化训练误差，需要对其数量进行优化。
- 步骤 2：计算可见向量
- 每个可见值 $\hat{v} i$ 通过以下公式计算：
[
\hat{v}_i