5、随机网络容量与Hopfield模型扩展解读

随机网络容量与Hopfield模型扩展解读

1. 随机网络容量基础

在随机网络的研究中，当模式数量 (p) 小于网络单元数量 (N) 时，会呈现出一些有趣的现象。比如，对于能量景观而言，混合态可看作是期望模式谷之间的小凹陷。在足够高的温度下，混合态会消失。此时，正确比特的期望数量 ((N_{correct})) 为 (N/2)，这是随机模式中预期的正确比特数；而在低温时，((A_{correct})) 会趋近于 (N)，即所有比特都正确。

在特定噪声水平下行为的急剧变化是相变的一个例子。人们可能天真地认为，随着温度 (T) 的变化，行为会平滑改变，但在大型系统中往往并非如此。统计力学方法在发现这类特征上，对理解复杂问题做出了重要贡献。例如，一个大型网络如果超过了一定的噪声水平，会突然完全停止工作，这在设备设计中具有重要的实际意义。

虽然在低温下，与单个模式成比例的状态是稳定的，但系统并非完美。仍然存在之前讨论过的伪态。对于 (p < N) 的情况，自旋玻璃态无关紧要，但反转态和混合态都存在。每种混合态都有其临界温度，超过该温度就不再稳定。最高的临界温度为 0.46，对应于由 (2.32) 给出的三种模式的组合。因此，当 (0.46 < T < 1) 时，没有混合态，只有期望模式（及其反转）是稳定的，这表明噪声（即 (T > 0.46)）实际上有助于提高网络性能。

为了进一步研究网络容量，引入了负载参数 (\alpha = \frac{p}{N})，它表示我们试图存储的模式数量占网络单元数量的比例。之前考虑 (p) 固定且 (N) 很大时，(\alpha \sim \frac{1}{N})，现在考虑 (\alpha) 为 1 量级。 </