30、平衡统计力学基础：单模式存储与相变分析

平衡统计力学基础：单模式存储与相变分析

1. 自由能与鞍点积分

自由能（每个神经元）的表达式为：
[f = -\frac{1}{N\beta} \ln Z \approx f(m^ ) - \frac{\ln[2\pi / \beta f’‘(m^ )] - \ln N}{2N\beta} \to f(m^*) \quad (N \to \infty)]
通常，即使没有明确写出，也会默认取热力学极限 (N \to \infty)。因此，每个神经元的自由能 (f) 就是 (f(m)) 在其最小值处的值。我们经常使用所谓的“鞍点积分”技术来计算自由能，该技术适用于所有被积函数是某个大参数的指数形式的积分，其一般结果为：
[\lim_{N \to \infty} -\frac{1}{N} \ln \int dx e^{-Ng(x)} = \min_x g(x)]
通过找到 (g(x)) 的驻点并选择 (g) 值最小的点，就可以计算这类积分。在适当的条件下，即使这些驻点在复平面上，该结果仍然成立。由于复变量函数的驻点总是具有鞍点的结构，因此该技术得名。

2. 单模式存储示例

2.1 简化为态密度计算

考虑一个具有均匀相互作用 (J_{ij})、无自相互作用且外部场为零的神经网络：
[J_{ij} = J_{ji} = \frac{J}{N} \quad (i \neq j), \quad \theta_i = 0]
这种设置可以看作是在网络中存储全为 +1 或全为 -1 的模式。在物理学中，由上述条件定义的系统被称为“无限范围铁磁体”，“无限范围”是指无论神经元或自旋在空间中的距