23、神经网络的宏观动力学分析

神经网络的宏观动力学分析

1. 网络操作的宏观动力学基础

在分析递归神经网络中的神经元动力学时，相互作用矩阵的结构起着关键作用。许多可解的神经网络统计力学模型的共同特征是相互作用矩阵的可分离性，这自然地引出了用宏观序参量进行方便描述的方法。

1.1 相互作用矩阵对称性的影响

• 对称相互作用矩阵 ：当相互作用矩阵对称时，系统行为相对简单，遵循详细平衡条件，长时间后总会达到平衡状态，可使用平衡统计力学进行分析。
• 非对称相互作用矩阵 ：详细平衡不存在，只能进行动力学研究，长时间行为可能更复杂，例如出现极限环。

1.2 微观动力学的概率形式

我们考虑用马尔可夫链描述的随机神经元动力学模型。将网络建模为一组 $N$ 个递归连接的神经元，每个神经元的状态用二进制变量 $\sigma_i = \pm1$ 表示（$\sigma_i = 1$ 表示激发，$\sigma_i = -1$ 表示安静）。

1.2.1 并行更新

给定时间 $t$ 时的 $N$ 个突触后电位 $h_i$，下一个时间步 $t + \Delta t$ 找到任何给定微观状态 $\sigma(t + \Delta t)$ 的概率为：
[
\text{Prob} [\sigma(t + \Delta t)] = \prod_{i=1}^{N} \left(\frac{1}{2} + \frac{1}{2}\sigma_i(t + \Delta t) \tanh(\beta h_i(\sigma(t))