38、受限玻尔兹曼机与其他概率分布详解

受限玻尔兹曼机与其他概率分布详解

1. 受限玻尔兹曼机（RBMs）概述

受限玻尔兹曼机（RBMs）是机器学习中一类流行的马尔可夫随机场（MRFs），可用于指定两组二进制随机变量的联合分布，即一些可见变量 ( v_i ) 和一些隐藏变量 ( h_j )，其中对于所有 ( 1 \leq i \leq I ) 和 ( 1 \leq j \leq J )，每个 ( v_i \in {0, 1} ) 且 ( h_j \in {0, 1} )。这些二进制随机变量形成一个二分图，两组中的每对节点都相互连接，而组内节点之间没有连接。

1.1 联合分布的定义

对于图中的每个最大团 ( {v_i, h_j} )，定义一个势函数：
[
\psi(v_i, h_j) = \exp \left( a_i v_i + b_j h_j + w_{ij} v_i h_j \right)
]
其中 ( a_i )、( b_j ) 和 ( w_{ij} ) 是 RBM 模型的可学习参数。将所有最大团的势函数组合起来，这些随机变量的联合分布可以表示为：
[
p(v_1, \cdots, v_I, h_1, \cdots, h_J) = \frac{1}{Z} \prod_{i=1}^{I} \prod_{j=1}^{J} \psi(v_i, h_j)
]
其中 ( Z ) 表示配分函数，计算如下：
[
Z = \sum_{v_1 \cdots v_I} \sum_{h_1 \cdots h_J} \prod_{i=1}^{I} \prod_{j=1}^{J} \psi(v_i, h_j) = \sum_{v} \s