24、神经网络操作与在线学习动力学解析

神经网络操作与在线学习动力学解析

1. 网络操作宏观动力学

1.1 霍普菲尔德模型渐近弛豫时间

霍普菲尔德模型中，渐近弛豫时间 $\tau_n$ 描述了向 $n$ - 混合态 $m^\star = m_n(1, \ldots, 1, 0, \ldots, 0)$ 的弛豫过程，它是噪声水平 $T$ 的函数。从图中可以看到，不同的 $n$ 值（从下到上依次为 $n = 1, 3, 5, 7, 9, 11, 13$）对应的渐近弛豫时间曲线有所不同。

当我们考虑更受限的模型类（16.39），而非更一般的类（16.33），并且采用 $p$ 个重叠参数 $m^\mu$ 进行更全局的描述，而非 $np$ 个子晶格磁化强度 $m_\eta$ 时，会有两个好处。一是对存储量 $\xi^\mu_i$ 没有限制，例如它们可以是实值；二是对于确定性自主动力学定律成立的情况，存储的模式数量 $p$ 可以大得多，只需要 $p \ll \sqrt{N}$，而不是 $p \ll \ln N$。

1.2 并行动力学

1.2.1 玩具模型

对于玩具模型（16.18），当从顺序动力学切换到并行动力学时，宏观概率分布 $P_t(m)$ 的演化可以通过结合（16.6）和定义（16.19）得到：
[P_{t + 1}(m) = \sum_{\sigma\sigma’} \delta(m - m(\sigma))W(\sigma, \sigma’)p_t(\sigma’) = \int dm’ \tilde{W} t(m, m’)P_t(m’)]
其中
[\tilde{W}_t(m, m’) = \frac{\su