36、神经网络模型：从Hopfield网络到玻尔兹曼机的探索

神经网络模型：从Hopfield网络到玻尔兹曼机的探索

在机器学习领域，神经网络模型不断发展，为解决各种复杂问题提供了强大的工具。本文将深入探讨Hopfield网络和玻尔兹曼机这两种重要的神经网络模型，介绍它们的原理、训练方法、应用场景以及各自的优缺点。

1. Hopfield网络

Hopfield网络是一种递归神经网络，常用于记忆和联想检索任务。下面我们将详细介绍Hopfield网络的相关内容。

1.1 属性补全

在属性补全任务中，状态向量的初始化是将观察到的状态设置为已知值，未观察到的状态随机设置。之后，仅更新未观察到的状态直至收敛，收敛时这些状态的位值即为补全后的表示。

1.2 训练Hopfield网络

对于给定的训练数据集，需要学习网络的权重，使得网络的局部最小值靠近训练数据集的实例或密集区域。Hopfield网络采用Hebbian学习规则进行训练，该规则基于生物学中神经元突触强化的原理，即当突触两侧的神经元输出高度相关时，突触会得到加强。

设 $x_{ij} \in {0, 1}$ 表示第 $i$ 个训练点的第 $j$ 位，训练实例的数量为 $n$，Hebbian学习规则设置网络权重的公式如下：
- 归一化分母的公式：
[
w_{ij} = \frac{4\sum_{k=1}^{n}(x_{ki} - 0.5) \cdot (x_{kj} - 0.5)}{n}
]
- 不进行分母归一化的公式：
[
w_{ij} = 4\sum_{k=1}^{n}(x_{ki} - 0.5) \cdot (x_{kj} - 0.5)