24、神经网络的形式统计力学

神经网络的形式统计力学

神经网络作为由简单单元构成的大型交互系统，与统计力学中研究的物理系统有着相似之处。因此，统计物理学的形式方法和概念自然成为研究神经网络的有力工具。本文将运用这些方法，探讨两个重要问题：Hopfield联想记忆网络中存储模式的召回，以及简单感知机的容量。不过，以下内容数学形式较为复杂，需要一定的统计力学基础知识。

1. Hopfield模型概述

Hopfield模型是神经网络中的经典模型，之前我们对随机Hopfield模型进行了启发式的研究，得到了一些性质。现在，我们将采用更系统的方法，从计算配分函数开始：
[Z = Tr_s \exp (-\beta H {S_i})]
其中，迹 (Tr_s) 表示对所有可能状态 ({S_i = \pm 1}) 求和。通过对配分函数求适当的导数，我们可以得到更直接感兴趣的物理量。

我们从能量函数开始：
[H_0 = -\frac{1}{2N} \sum_{\mu = 1}^{p} \sum_{i,j} \xi_i^{\mu} \xi_j^{\mu} S_i S_j]
这个能量函数与之前的形式类似，只是通过第二项常数抵消了第一项中的对角项 (S_i^2) 贡献。该能量函数具有Hebbian连接强度。

我们定义 (\alpha = p/N)，表示期望记忆数量与系统大小的比例。我们主要考虑大 (N) 极限（即热力学极限 (N \to \infty)），当讨论 (\alpha \neq 0) 时，意味着模式数量 (p) 与单元数量 (N) 成比例缩放。下面我们先讨论更简单的情况 (\alpha = 0)，即固定数量 (p) 的模式，与 (N) 无关。