38、受限玻尔兹曼机与其他概率分布详解

受限玻尔兹曼机与其他概率分布详解

1. 受限玻尔兹曼机概述

受限玻尔兹曼机（Restricted Boltzmann Machines，RBMs）是机器学习中一类流行的马尔可夫随机场（MRFs），可指定两组二元随机变量的联合分布，即一些可见变量 (v_i) 和一些隐藏变量 (h_j)，其中对于所有 (1 ≤ i ≤ I) 和 (1 ≤ j ≤ J)，每个 (v_i ∈ {0, 1}) 且 (h_j ∈ {0, 1})。这些二元随机变量形成一个二分图，两组中的每对节点都相连，而组内节点之间没有连接。

1.1 最大团与势函数

该图的最大团包括所有节点对 ({v_i, h_j})，对于每个最大团，定义势函数如下：
(\psi(v_i, h_j) = \exp (a_iv_i + b_jh_j + w_{ij}v_ih_j))
其中 (a_i)、(b_j) 和 (w_{ij}) 是 RBM 模型的可学习参数。

1.2 联合分布

将所有最大团的势函数组合在一起，这些随机变量的联合分布可以表示为：
(p(v_1, \cdots, v_I, h_1, \cdots, h_J) = \frac{1}{Z} \prod_{i=1}^{I} \prod_{j=1}^{J} \psi(v_i, h_j))
其中 (Z) 表示配分函数，计算如下：
(Z = \sum_{v_1\cdots v_I} \sum_{h_1\cdots h_J} \prod_{i=1}^{I} \prod_{j=1}^{J} \psi(v_i, h_j) = \sum_{v} \sum_{h} \exp (a^⊺v + b^⊺h