35、受限玻尔兹曼机：从Hopfield网络到生成模型的探索

受限玻尔兹曼机：从Hopfield网络到生成模型的探索

在机器学习领域，神经网络模型的发展日新月异，其中Hopfield网络和玻尔兹曼机是两类重要的模型。本文将深入探讨Hopfield网络的训练、应用及其局限性，进而引出玻尔兹曼机的原理、数据生成方式以及权重学习方法。

1. Hopfield网络

Hopfield网络是一种递归神经网络，常用于以记忆为中心的应用。

1.1 属性补全

在属性补全任务中，状态向量的初始化方法是将观察到的状态设置为已知值，未观察到的状态随机设置。此时，仅更新未观察到的状态直至收敛，收敛时这些状态的位值即为补全后的表示。

1.2 训练Hopfield网络

对于给定的训练数据集，需要学习网络的权重，使得网络的局部最小值靠近训练数据集的实例（或密集区域）。Hopfield网络采用Hebbian学习规则进行训练。根据Hebbian学习的生物学动机，当突触两侧的神经元输出高度相关时，突触会得到加强。

设 $x_{ij} \in {0, 1}$ 表示第 $i$ 个训练点的第 $j$ 位，训练实例的数量为 $n$。Hebbian学习规则设置网络权重的公式如下：
[
w_{ij} = \frac{4}{n} \sum_{k=1}^{n} (x_{ki} - 0.5) \cdot (x_{kj} - 0.5)
]
也可以不进行分母归一化，使用以下规则：
[
w_{ij} = 4 \sum_{k=1}^{n} (x_{ki} - 0.5) \cdot (x_{kj} - 0.5)
]
在实际应用中，常需要开发