36、受限玻尔兹曼机：原理、训练与应用

受限玻尔兹曼机：原理、训练与应用

1. 受限玻尔兹曼机概述

在传统的玻尔兹曼机中，隐藏单元和可见单元之间的连接可以是任意的，这会带来不必要的复杂性。而受限玻尔兹曼机（Restricted Boltzmann Machine，RBM）是玻尔兹曼机的一种特殊情况，它是二分图结构，连接仅允许在隐藏单元和可见单元之间存在。

1.1 符号表示

假设隐藏单元为 (h_1 \cdots h_m)，可见单元为 (v_1 \cdots v_d)。可见节点 (v_i) 相关的偏置记为 (b^{(v)} i)，隐藏节点 (h_j) 相关的偏置记为 (b^{(h)}_j)。可见节点 (v_i) 和隐藏节点 (h_j) 之间的边的权重记为 (w {ij})。与普通玻尔兹曼机不同，这里隐藏和可见单元是分别索引的，例如 (w_{ij} \neq w_{ji})，因为第一个索引 (i) 总是属于可见节点，第二个索引 (j) 属于隐藏节点。

1.2 示例：“Alice 的冰淇淋卡车”

为了更好地理解，我们引入“Alice 的冰淇淋卡车”的例子。假设训练数据是 Alice 每天从父母那里收到的冰淇淋，用 4 位二进制数表示，这就是可见状态。而冰淇淋是父母从三辆卡车中购买的，卡车的身份对 Alice 是隐藏的，这三辆卡车就是隐藏状态。父母的决策过程很特殊，他们在选择卡车后会改变对冰淇淋的选择，反之亦然。这种循环关系是无向模型的特征，类似于吉布斯采样。

2. 受限玻尔兹曼机的推理优势

二分图结构的限制极大地简化了 RBM 的推理算法，同时保留了该方法以应用为中心的能力。如果已知所有可见单元的值（在提供训练数