37、受限玻尔兹曼机（RBM）的应用与原理

受限玻尔兹曼机（RBM）的应用与原理

在机器学习领域，受限玻尔兹曼机（RBM）是一种强大的工具，它在降维、数据重建、协同过滤和分类等多个方面都有出色的表现。下面我们将深入探讨RBM的这些应用及其背后的原理。

1. RBM基础概念

在RBM中，节点状态有两种表示方式。一种是从伯努利概率中采样得到的二进制值，另一种是通过使用sigmoid函数得到的概率值。在许多应用中，我们更倾向于使用后者，也就是关联神经网络节点中的激活值。这是因为激活值包含更多信息，并且与传统神经网络架构兼容，方便使用反向传播算法。在对比散度算法的最后一步更新权重时，同样也是利用节点的激活值而非状态。

2. 降维和数据重建

RBM最基本的功能之一是降维和无监督特征工程。其隐藏单元包含了数据的降维表示。那么如何利用RBM重建原始数据呢？这就需要理解无向RBM与有向图模型的等价性。

虽然RBM是无向图模型，但我们可以将其“展开”为有向模型。一般来说，无向RBM等价于一个具有无限层的有向图模型。当可见单元固定为特定值时，展开后的层数恰好是原始RBM层数的两倍。通过用连续的sigmoid单元替换离散的概率采样，这个有向模型就可以作为一个虚拟自编码器，具有编码器和解码器部分。

RBM可以看作是一个使用相同权重矩阵从可见层到隐藏层以及从隐藏层到可见层学习的无向图模型。对于某些函数$f(·)$，可以将相关方程重写为：
$h \sim f(v, b^{(h)}, W)$
$v \sim f(h, b^{(v)}, W^T)$

在二进制RBM中，$f(·)$通常由sigmoid函数定义。忽略偏差，我们可以用两个有向链接替换RBM的