12、神经网络建模中的随机动力学与稳定性分析

神经网络建模中的随机动力学与稳定性分析

1. 相关参数随时间的变化

研究中给出了不同相关时间（r 值分别为 ∞、10、1、0.1 和 0.01）下，第二矩 随时间的变化情况，如图所示。同时， 表示归一化伪热力学能级的演化，由特定方程决定。从图中可以观察到，相关时间并不改变噪声/干扰波动行为的定性特征。也就是说，从广泛意义上讲，随着相关时间的增加，神经元状态转变宏观秩序的起始会延迟。

2. 神经网络中的随机不稳定性

2.1 基本模型

典型的（人工）神经网络可用于解决一类离散优化问题，系统通过能量函数 E 追踪到稳定状态，稳定状态假定存在于 E 的全局最小值处。每个神经元 i 的内部状态（在生物学上为体细胞电位）由时间相关的标量值 Si 表示，平衡状态设为 0。细胞的输出（对应于尖峰或动作电位频率）cri 是连续、有界且单调的非线性函数 F，即 cri = F(Si)。通常 F(x) 是 S 型函数，如双曲正切形式 (1/2) [1 + tanh(Ax)] 或朗之万函数 Lq(Ax)，系数 A 是包含与系统玻尔兹曼（伪）能量对应的伪温度的缩放因子。

神经元内部状态的变化率由网络中其他神经元的输入（以加权和的形式）、外部源（如恒定偏置）以及抑制性内部状态决定，其方程为：
[
\frac{\partial S_i}{\partial t} = \sum_{j} W_{ij}F(S_j) + \theta_i - S_i + \eta_i(t)
]
其中 (\eta_i(t)) 表示细胞内干扰/噪声。

经过积分（对应于时间常数为 t₀ 的一阶低通转换），上述方程可简化。当权重对称（W