30、受限玻尔兹曼机的训练与吉布斯采样

受限玻尔兹曼机的训练与吉布斯采样

1. 受限玻尔兹曼机的可见与隐藏单元

可见单元和隐藏单元实际上是二元Sigmoid单元，向量b和c分别为可见单元和隐藏单元提供偏置。这种隐藏单元和可见单元的对称且独立的条件依赖关系在训练模型时很有用。

2. 训练受限玻尔兹曼机

为了得到模型参数b、c和W（其中b和c分别是可见单元和隐藏单元的偏置向量，W是可见层和隐藏层之间的权重连接矩阵），需要对玻尔兹曼机进行训练。模型参数可统一表示为：
[
b; c; W
]

模型的训练可以通过最大化输入数据点关于模型参数的对数似然函数来实现。输入即每个数据点对应可见单元的数据。似然函数如下：
[
L = \prod_{t = 1}^{m} P(v^{(t)})
]
两边取对数得到对数似然表达式：
[
C = \sum_{t = 1}^{m} \log P(v^{(t)})
]
将概率展开为联合概率形式：
[
C = \sum_{t = 1}^{m} \log \sum_{h} e^{-E(v^{(t)}, h)} - \sum_{t = 1}^{m} \log \sum_{v} \sum_{h} e^{-E(v, h)}
]
其中，配分函数(Z = \sum_{v} \sum_{h} e^{-E(v, h)})。

3. 计算梯度

将成本函数C看作由(\rho^{+})和(\rho^{-})两个部分组成，分别计算它们关于组合参数(\theta)的梯度。
- (\rho^