41、神经网络中的监督模型与随机模型解析

神经网络中的监督模型与随机模型解析

1. 监督模型中的关联记忆网络

1.1 HDAM 记录方法

在关联记忆网络中，HDAM（Hierarchical Distributed Associative Memory）记录方法旨在完美存储关联信息。这里假设要存储的关联集合形成一对一映射，否则完美存储将无法实现。常见的 HDAM 记录方法包括投影记录（Projection Recording）和基于 Householder 变换的记录（Householder Transformation - based Recording）。

这些方法要求向量 $x_k$（以及 $y_k$）线性独立，可实现的容量为 $m = min(n, L)$。然而，这些技术的一个缺点是不能保证 HDAM 的稳定性，即可能收敛到虚假循环。经验结果表明，并行更新的投影记录 HDAM 仅在接近 HDAM 容量的内存加载水平下才会表现出显著的振荡行为。

1.2 双向关联记忆（BAM）

Kosko 提出了一种具有 HDAM 架构但受限的异联想记忆，即双向关联记忆（Bidirectional Associative Memory，BAM），限制条件为 $W_i = W_1 = W$。BAM 的有趣特征是，对于任何实值互连矩阵 $W$ 的选择，以及串行和并行检索模式，它都是稳定的。

可以从 BAM 的有界 Lyapunov（能量）函数出发证明其稳定性，每次串行或并行状态更新都会使能量 $E$ 减小。也可以通过将 BAM 转换为离散自联想 DAM（Discrete Hopfield DAM）来证明其稳定性，状态向量 $z’ = [z^T, y^T]^T$，互连矩阵 $W’$ 为：