3、霍普菲尔德模型：联想记忆的原理与应用

霍普菲尔德模型：联想记忆的原理与应用

1. 联想记忆问题

联想记忆是该领域的经典问题，它以一种简单的方式展示了集体计算的工作原理。其基本问题在于：存储一组 $p$ 个模式 $\xi^\mu$，当呈现一个新的模式 $\xi^ $ 时，网络能输出与 $\xi^ $ 最相似的存储模式。

模式用 $\mu = 1, 2, \cdots, p$ 标记，网络中的单元用 $i = 1, 2, \cdots, N$ 标记。存储模式和测试模式在每个位点 $i$ 上的值可以是 0 或 1，不过为了数学方便，后续会采用不同的约定。

在传统计算机中，可以通过串行方式解决这个问题，具体步骤如下：
1. 存储模式列表。
2. 编写程序计算测试模式与每个存储模式之间的汉明距离：
- 汉明距离公式为：$d(\xi^ , \xi^\mu) = \sum_{i} [(\xi_i^ - \xi_i^\mu)^2]$
3. 找出汉明距离最小的存储模式。
4. 输出对应的存储模式。

而我们希望用 McCulloch - Pitts 网络来实现这一功能。即从配置 $\eta_i = \xi_i^ $ 开始，找到合适的连接权重 $W_{ij}$，使网络达到状态 $\eta_i = \xi_i^{\mu_0}$，其中 $\mu_0$ 是与 $\xi^ $ 汉明距离最小的模式编号。这样，记忆就具有内容寻址性，并且对输入模式的小错误不敏感。

内容寻址记忆非常强大，例如，在网络中存储许多著名科学家的编码信息，输入模式 “evolution” 应该能唤起关于达尔文的所有信息，“E