22、神经网络算法：Hopfield网络、LVQ与SOM的深入解析

神经网络算法：Hopfield网络、LVQ与SOM的深入解析

1. Hopfield网络

1.1 分类

Hopfield网络属于人工神经网络和神经计算领域，是一种递归神经网络，与双向联想记忆（BAM）等递归网络相关，也与前馈人工神经网络如感知机和反向传播算法有联系。

1.2 灵感来源

该算法受人类大脑关联记忆特性的启发。

1.3 隐喻

在训练过程中，网络中的权重可被视为最小化能量函数，并沿着能量表面下滑。在训练好的网络中，呈现给网络的每个模式都提供一个吸引子，通过在网络中传播信息向吸引点推进。

1.4 策略

系统的信息处理目标是将输入模式的组件与称为内容可寻址存储器（CAM）的模式整体表示相关联。这意味着一旦训练完成，系统将根据输入模式的一部分或有噪声的版本召回整个模式。

1.5 过程

Hopfield网络由具有加权边的图数据结构组成，训练和应用结构有单独的程序。网络结构是全连接的（一个节点连接到除自身之外的所有其他节点），节点之间的边（权重）是双向的。
- 权重学习 ：如果网络要记忆的所有模式已知，网络的权重可以通过一次性方法（对模式进行一次迭代）学习。或者，可以使用赫布规则增量更新权重，根据实际输出和预期输出之间的差异增加或减少权重。单个节点的网络权重一次性计算如下：
[w_{i,j} = \sum_{k=1}^{N} v_{i}^{k} \times v_{j}^{k}]
其中 (w_{i,j}) 是神经元 (i) 和 (j) 之间的权重，(N) 是