11、霍普菲尔德网络：原理、应用与优化

霍普菲尔德网络：原理、应用与优化

1. 网络状态与存储模式的趋近

当网络朝着存储模式移动时，其状态（以汉明距离衡量）会逐渐接近该模式。例如，对于存储的“T”模式，从类似图 7.1 左侧的状态开始，我们会看到噪声程度逐渐降低，图左侧的模式逐渐显现。图 7.7 展示了这一过程，其中的数字表示有多少节点被选中进行更新。

2. 网络能量的定义

2.1 网络动态与稳定状态

网络的动态可以通过状态转移表或图完全描述。虽然已经证明了稳定状态的存在（这对联想记忆范式至关重要），但我们并不总是能保证获得这些状态。基于能量的形式化方法在这方面更有成效。

2.2 物理类比引入能量概念

我们可以通过一个简单的物理系统类比来引入能量概念。考虑由弹簧连接的一对物体，如图 7.8 所示。图的左侧使用拉伸弹簧，它倾向于将物体拉在一起，系统的能量最小值出现在物体彼此靠近时；右侧使用压缩弹簧，其能量最小值出现在物体彼此远离时。

2.3 霍普菲尔德网络中的节点权重与能量

在霍普菲尔德网络中，正权重和负权重分别类似于拉伸弹簧和压缩弹簧。正权重倾向于使节点具有相同的输出值，而负权重则倾向于使节点具有不同的输出值。
- 正权重情况 ：当两个节点通过正权重 +w 连接时，如果节点 i 和 j 的输出分别为 1 和 0，节点 i 会尝试将节点 j 的激活值提升到阈值以上，因此状态 (1, 0) 不稳定。当两个节点的输出都为 1 时，它们相互的贡献为正，有助于稳定该状态。状态 (0, 0) 对权重的符号是中性的。
- 负权重情况