9、神经网络活动物理模型解析

神经网络活动物理模型解析

1. Thompson 和 Gibson 模型

1981 年，Thompson 和 Gibson 支持 Little 模型中关于神经元放电行为概率方面的内容，但认为 Little 引入的长程有序概念不太适用于神经网络，他们提出了一个更通用的有序定义。
- 自旋系统与长程有序 ：在自旋系统中，如果固定一个晶格位置的自旋会使远处的自旋表现出对某一方向的偏好，这就是自旋系统的长程有序。对于二维铁磁体的 Ising 模型，自旋 $S_i = ±1$ 构成规则晶格，第 $(m + 1)$ 行自旋的概率分布仅取决于第 $m$ 行，呈现马尔可夫过程，其转移矩阵为 $T_M$。在自旋问题中，对于所有正温度 $T$，$T_M$ 是严格的正随机矩阵，有限自旋系统在 $T > 0$ 时不存在长程有序。但当 $M \to \infty$ 且 $T < T_c$（$T_c$ 为居里点）时，$T_M$ 的最大特征值渐近简并，无限二维自旋系统在 $T_c$ 处会发生尖锐的相变。
- 神经网络与自旋系统的差异 ：铁磁系统中最近邻自旋 - 自旋相互作用是对称的，自旋系统的行可以沿任意方向添加；而神经网络中神经元相互作用本质上是各向异性的，神经元状态由前一时刻所有神经元状态决定，转移矩阵 $T_M$ 是非对称的，突触连接通常也是非对称的，甚至是最大程度的不对称或单向的。
- 新的长程有序定义 ：由于自旋系统的长程有序定义不适用于神经网络，Thompson 和 Gibson 提出了适用于自旋系统和神经元系统的新定义。该定义适用于中等时间尺度，在此时间框架内，突触参数不会发生塑性