14、受限玻尔兹曼机性能提升方法

受限玻尔兹曼机性能提升方法

1. 引言

受限玻尔兹曼机（RBM）在机器学习领域应用广泛，如协同过滤、特征提取、降维、目标识别和分类等。它通常通过无监督学习提取特征，可作为其他神经网络的初始化器，与其他分类器一起解决分类问题，还能构成深度信念网络（DBNs）和深度玻尔兹曼机（DBMs）。

RBM 是基于能量函数的无向图模型，由两层组成，训练目标是最大化输入数据边缘分布的对数似然函数。当 RBM 学习到的分布与输入数据的分布相同时，训练完成。然而，即便分布几乎相同，重建误差依然存在。为提升 RBM 的性能，本文提出一种将重建误差添加到 RBM 成本函数中的方法。

此前也有一些文献利用重建误差来改进 RBM 的性能，例如将重建误差作为降低学习率的标准、用归一化重建误差确定增量必要性和计算额外特征数量、基于最小化重建误差提出新的训练技术、通过重建误差选择训练集的子集来训练新模型等。但本文是将重建误差作为 RBM 成本函数的一部分，在确保模型学习到的分布与输入数据分布相同的情况下，使重建误差尽可能小，以实现更好的性能。

2. 受限玻尔兹曼机

RBM 是一种随机神经网络模型，由可见层和隐藏层两层组成。可见层有 |v| 个神经元，代表输入数据；隐藏层有 |h| 个神经元，是输入数据的表示。W 是可见层和隐藏层之间的连接权重。

RBM 的能量函数形式如下：
[E(v, h|\theta) = -\sum_{m=1}^{|v|} a_m v_m - \sum_{n=1}^{|h|} c_n h_n - \sum_{m=1}^{|v|} \sum_{n=1}^{|h|} W_{mn} h_n v_m]
其中，(\th