24、神经网络计算模型：连续吸引子网络与水库网络解析

神经网络计算模型：连续吸引子网络与水库网络解析

1. 连续吸引子网络（CANN）基础

1.1 CANN动力学方程

CANN中变量 (U(x,t)) 的动力学由其他神经元的递归输入、自身的松弛以及外部输入 (I_{ext}(x,t)) 共同决定，其方程如下：
(\tau \frac{\partial U(x,t)}{\partial t} = -U(x,t) + \rho \int_{x’} J(x,x’) r(x’,t) dx’ + I_{ext}(x,t))
其中，(\tau) 是突触时间常数，通常在1 - 2 ms 量级；(\rho) 是神经元密度；(J(x,x’)) 是从位置 (x’) 的神经元到位置 (x) 的神经元的相互作用强度，其表达式为：
(J(x,x’) = \frac{J_0}{\sqrt{2\pi}a} \exp\left(-\frac{(x - x’)^2}{2a^2}\right))
这里参数 (a) 控制神经元的相互作用范围。由于考虑的神经元相互作用范围远小于刺激值范围（(a \ll 2\pi)），在后续分析中可认为 (-\infty < x < +\infty)。

神经元的 firing rate (r(x,t)) 由突触输入决定，具体为：
(r(x,t) = \frac{U^+(x,t)^2}{1 + k\rho \int_{x’} U^+(x’,t)^2 dx’})
其中，当 (U > 0) 时，(U^+ = U)；否则 (U^+ = 0)。神经元的 firing rate 随输入先增加，然后由于网络整体活动的除法归一化而逐渐饱和。

对于二维CANN，一维变量 (x) 被二维向量 (\mathbf{x} = (x,y)) 替代，神经元相互作用表示为：
(J(\mathbf{x},\mathbf{x}’) = \frac{J}{2\pi a^2} \exp\left(-\frac{(\mathbf{x} - \mathbf{x}’)^2}{2a^2}\right))

1.2 CANN的内在动力学

在没有外部输入的情况下，当 (0 < k < k_c \approx \frac{\rho J_0^2}{8\sqrt{2\pi}a}) 时，网络存在一族连续的稳态：
(U(x|z) = U_0 \exp\left(-\frac{(x - z)^2}{4a^2}\right))
(r(x|z) = r_0 \exp\left(-\frac{(x - z)^2}{2a^2}\right))
其中，(U_0 = \left[1 + \sqrt{1 - \frac{k}{k_c}}\right] \frac{J_0}{4\sqrt{\pi}ak})，(r_0 = \left[1 + \sqrt{1 - \frac{k}{k_c}}\right] \frac{J_0}{2\sqrt{2\pi}ak\rho})。这些稳态具有平移不变性，呈高斯形状，自由参数 (z) 表示其位置。

为研究高斯凸起的稳定性，考虑网络状态 (U(x,t) = U(x|z) + \delta U(x,t))，通过线性稳定性分析可得：
(\tau \frac{\partial}{\partial t} \delta U(x,t) = \int_{-\infty}^{+\infty} dx’ F(x,x’|z) \delta U(x’,t) - \delta U(x,t))
其中，相互作用核 (F(x,x’|z)) 为：
(F(x,x’|z) = \frac{2\sqrt{2}U(x’)J_0U_0}{J(x,x’)} - k\rho \int_{-\infty}^{+\infty} dx’’ J(x,x’‘) r(x’‘))
(= \frac{2}{a\sqrt{\pi}} \exp\left(-\frac{(x - x’)^2}{2a^2}\right) \exp\left(-\frac{(x’ - z)^2}{4a^2}\right) - \left(1 + \sqrt{1 - \frac{k}{k_c}}\right) \frac{1}{\sqrt{2\pi}a} \exp\left(-\frac{(x - z)^2}{4a^2}\right) \exp\left(-\frac{(x’ - z)^2}{4a^2}\right))

通过量子谐振子的基本波函数 (v_n(x|z))：
(v_n(x|z) = (-1)^n \left(\frac{\sqrt{2}}{a}\right)^{n - \frac{1}{2}} \frac{1}{\sqrt{\pi^{\frac{1}{2}}n!2^n}} \exp\left(\frac{(x - z)^2}{4a^2}\right) \left(\frac{d}{dx}\right)^n \exp\left(-\frac{(x - z)^2}{2a^2}\right))
可计算出核 (F(x,x’|z)) 的特征值和前四个右特征函数：
(\lambda_0 = 1 - \sqrt{1 - \frac{k}{k_c}})
(\lambda_n = 2^{1 - n}) （(n \geq 1)）
(u_R^0(x|z) = v_0(x|z))
(u_R^1(x|z) = v_1(x|z))
(u_R^2(x|z) = \sqrt{\frac{1}{2\left[\left(1 - 2\sqrt{1 - \frac{k}{k_c}}\right)^2 + \frac{1}{2}\right]}} v_0(x|z) + \frac{1 - 2\sqrt{1 - \frac{k}{k_c}}}{\sqrt{\left(1 - 2\sqrt{1 - \frac{k}{k_c}}\right)^2 + \frac{1}{2}}} v_2(x|z))
(u_R^3(x|z) = \sqrt{\frac{1}{7}} v_1(x|z) + \sqrt{\frac{6}{7}} v_3(x|z))

右特征函数对应着凸起的各种失真模式，例如 (u_R^0(x|z)) 对应凸起的幅度失真，(u_R^1(x|z)) 对应位置偏移，(u_R^2(x|z)) 对应宽度变化。从 (n = 3) 开始，(u_R^n(x|z)) 是 (v_R^k(x|z)) （(k = n, n - 2, \cdots)）的线性组合。(u_R^1(x|z) = v_1(x|z)) 且 (\lambda_1 = 1)，对应凸起的位置偏移，在网络动力学下得以维持，这体现了网络稳态的中性稳定性。其他特征函数的特征值均小于1，这些凸起失真模式的贡献在网络动力学中相对位置偏移的贡献较小。

由于CANN的动力学主要由少数运动模式主导，可将网络动力学投影到这些主导模式上，以简化网络动力学描述。通过将函数 (f(x)) 投影到模式 (\phi(x)) （即计算 (\frac{\int f(x)\phi(x)dx}{\int \phi(x)^2dx})），通常包含一两个主要运动模式，简化后的动力学就能捕捉CANN的主要特征，从而分析CANN的跟踪行为。

1.3 CANN的跟踪特性

CANN的凸起状态在网络状态空间中形成一个子流形，网络在该子流形上具有中性稳定性。这使得CANN能够平滑跟踪移动刺激，前提是刺激速度不是太大。为研究CANN的跟踪性能，考虑外部输入形式为：
(I_{ext}(x,t) = \alpha \exp\left(-\frac{(x - z_0(t))^2}{4a^2}\right))
其中，刺激位置 (z_0(t)) 是时间的函数。

定义凸起相对于刺激的滞后为 (s = z_0 - z)，其变化率为：
(\frac{ds}{dt} = \frac{dz_0}{dt} - \frac{dz}{dt} = v_{ext} - \frac{\alpha s}{\tau} \exp\left(-\frac{s^2}{8a^2}\right) = v_{ext} - g(s))
滞后 (s) 的大小由两个竞争因素决定：第一项表示刺激的移动，倾向于增大滞后；第二项表示神经元递归相互作用的集体效应，倾向于减小滞后。当这两个力平衡时（(v = g(s))），实现跟踪；否则，(s) 会发散。函数 (g(s)) 是凹函数，在 (s = 2a) 处有最大值 (g_{max} = \frac{2\alpha a}{\tau\sqrt{e}})，这定义了网络可跟踪的最大刺激速度。

1.4 CANN的预期跟踪

CANN虽能平滑跟踪移动输入，但由于神经元响应延迟，网络凸起总是滞后于移动刺激的即时位置，无法解释实验中观察到的预期行为。在神经信息处理中，时间延迟普遍且显著，如视觉信号从视网膜传输到初级视觉皮层约需50 - 80 ms，单个神经元对突触输入的响应时间常数约为10 - 20 ms。若不适当补偿这些延迟，对快速移动物体的感知会显著滞后于其真实位置，影响视觉和运动控制。一种补偿时间延迟的方法是预测移动物体的未来位置。

通过在神经元动力学中引入慢负反馈调制，CANN能够实现预期跟踪。这里考虑一种反馈调制，即尖峰频率适应（SFA）。SFA是神经元在长时间放电时常见的动态特征，可由多种机制产生，例如神经放电会提高神经元的细胞内钙水平，诱导内向钾电流，进而使神经元膜电位超极化，即强神经元响应会引发负反馈以平衡自身。

加入SFA后，CANN的动力学方程变为：
(\tau \frac{\partial U(x,t)}{\partial t} = -U(x,t) + \rho \int_{x’} J(x,x’) r(x’,t) dx’ - V(x,t) + I_{ext}(x,t))
其中，突触电流 (V(x,t)) 表示SFA的影响，其动力学方程为：
(\tau_v \frac{\partial V(x,t)}{\partial t} = -U(x,t) + mU(x,t))
(\tau_v) 是SFA的时间常数，通常在40 - 120 ms量级，参数 (m) 控制SFA的幅度。由此可得：
(V(x,t) = \frac{m}{\tau_v} \int_{-\infty}^{t} \exp\left(-\frac{t - t’}{\tau_v}\right) U(x,t’) dt’)
即 (V(x,t)) 是神经突触输入（进而神经活动）在有效时间段 (\tau_v) 内的积分，其负值反馈到神经元以抑制其响应，神经元活动水平越高，负反馈越大。由于 (\tau_v \gg \tau)，SFA相对于神经放电较慢。

带有SFA的CANN可以存在行波状态。假设网络中出现一个凸起，由于SFA，最活跃的神经元会受到最强的负反馈，其活动相应被抑制。在受SFA影响较小的相邻神经元的竞争下，凸起会向相邻区域移动，在新位置SFA又会破坏神经元响应的稳定性，从而使凸起像行波一样在网络中移动。

考虑行波状态的高斯假设：
(U(x,t) = A_u \exp\left(-\frac{(x - z(t))^2}{4a^2}\right))
(r(x|z) = A_r \exp\left(-\frac{(x - z(t))^2}{2a^2}\right))
(V(x|z) = A_v \exp\left(-\frac{(x - z(t) + d)^2}{4a^2}\right))
其中，(\frac{dz(t)}{dt}) 是行波速度，(d) 是 (U(x,t)) 和 (V(x,t)) 之间的间距。假设凸起从左向右移动（(\frac{dz(t)}{dt} > 0)），由于SFA较慢，(V(x,t)) 滞后于 (U(x,t))，通常 (d > 0)。

利用CANN动力学由少数运动模式主导的特性，将网络动力学投影到这些主导模式上，可求解网络动力学并得到行波状态。行波速度和凸起间距分别为：
(v_{int} \equiv \frac{dz(t)}{dt} = \frac{2a}{\tau_v} \sqrt{\ln\left(\frac{m\tau_v}{\tau}\right)})
(d = 2a \sqrt{\ln\left(\frac{m\tau_v}{\tau}\right)})
行波速度 (v_{int}) 反映了网络的内在流动性，其值完全由网络参数决定，且随SFA幅度 (m) 增加而增大。网络支持行波状态的条件是 (m > \frac{\tau}{\tau_v})。

当网络接收到移动刺激的外部输入时，网络的跟踪行为由网络的内在速度 (v_{int}) 和外部驱动速度 (v_{ext} = \frac{dz_0(t)}{dt}) 两个竞争因素决定。定义网络凸起相对于外部驱动的位移为 (s = z(t) - z_0(t))。假设网络能够跟踪移动刺激，即网络动力学达到稳态，(\frac{dz(t)}{dt} = \frac{dz_0(t)}{dt}) 且 (s) 为常数。当 (s > 0) 时，网络跟踪领先于移动输入；当 (s < 0) 时，网络跟踪滞后于移动输入。

通过高斯假设和投影方法求解网络动力学，可得：
(d = v_{ext}\tau_v)
(\frac{s}{a} \exp\left(-\frac{s^2}{8a^2}\right) = \frac{A_u}{\alpha} \left(\frac{v_{ext}\tau_v}{a} m \exp\left(-\frac{v_{ext}^2\tau_v^2}{4a^2}\right) - \frac{\tau}{\tau_v}\right))
从上述方程可知，当 (v_{int} > v_{ext}) 时，(s > 0)，即网络状态领先于外部输入，实现预期跟踪；当 (v_{int} < v_{ext}) 时，(s < 0)，网络跟踪滞后。

1.5 总结

CANN在神经信息处理中具有重要作用，其动力学特性使其能够处理连续刺激并跟踪移动目标。内在动力学的分析揭示了网络的稳态和稳定性；跟踪特性的研究表明CANN能够在一定条件下平滑跟踪移动刺激；而预期跟踪的实现为解释生物神经系统中的预期行为提供了理论基础。通过引入SFA，CANN能够克服神经元响应延迟带来的问题，实现对移动目标的预期跟踪。

2. 水库网络（Reservoir Networks）

2.1 水库网络概述

水库网络计算是一种实时计算的计算框架，与传统的离线计算（如Turing machines）不同，它将输入流映射到输出流，更接近生物系统的信息处理方式。在生物系统中，外部输入持续作用于神经系统，同时大脑通过向肌肉发送运动信号不断响应周围环境。水库网络计算的优势在于其自适应能力，只需调整读出部分，就能实现大量期望的任务，而其他部分保持固定。

在水库网络计算框架中，输入流注入水库，由于水库的非线性动力学特性，输入的多种信息（包括过去和当前信息）被嵌入到水库状态的高维空间中。一个简单的无记忆读出器（如感知器）就足以提取计算任务所需的信息。这种将计算分为水库和读出的方式非常高效，因为水库通常能提供输入流的几乎所有期望信息，且许多输入信息可以通过简单读出器轻松访问和解码。

常见的水库主要有液态状态机（LSMs）和回声状态网络（ESN），它们都是具有随机连接权重的递归网络。主要区别在于，LSM中的神经元是只有两种状态的脉冲神经元，而ESN中的每个神经元是模拟神经元。下面以LSM为例，阐述水库网络的计算特性。

2.2 液态状态机（LSMs）

2.2.1 LSM结构与原理

LSM是一种递归脉冲神经网络，其中神经元随机且稀疏连接，每个神经元还接收来自外部源的时变输入。连接的递归性质将时变输入转化为网络中的时空激活模式，最后由线性读出神经元提取LSM的时空激活模式。LSM可以作为皮质微电路的通用递归电路模型。

可以通过将神经网络与液体进行类比来直观理解LSM的原理。向静止的水体中扔石头会产生时空涟漪模式，液体中的模式是后续落下的石头与液体内部状态相互作用的结果。类似地，网络中神经元群体的响应由外部刺激和网络内部状态的相互作用决定。

2.2.2 LSM组成部分

LSM由液体和读出两部分组成。在生物模型中，液体 (L_M) 通常是一个通用的递归连接的局部神经元网络；读出部分用于从液体中提取信息并报告结果。输入函数 (u(t)) 可以是连续的干扰序列，目标输出可以是时间的某个选定函数 (y(t))，用于对输入序列进行实时分析。LSM将时间的输入函数 (u(t)) 映射到时间的输出函数 (y(t))。

在时间 (t) 的内部“液态状态” (x_M(t)) 是对先前扰动的当前响应，即对 (s < t) 的先前输入 (u(s)) 的响应，液态状态由可能随时间连续变化的模拟值组成。在物理实现中，液态状态 (x_M(t)) 包含了可被读出模块访问的动态系统当前内部状态的所有信息。

从数学角度看，(L_M) 类似于一个滤波器或算子，可以将输入函数 (u(.)) 映射到函数 (x_M(t))。LSM的第二部分是无记忆读出映射 (f_M)，在每个时间 (t)，将 (x_M(t)) 转换为输出 (y(t))。与液体滤波器 (L_M) 不同，读出映射 (f_M) 通常根据具体任务进行选择。

与其他计算模型（如基于吸引子的模型、Turing machines）不同，LSM是一个对连续数据流（如提供给微电路的脉冲序列）进行实时计算的系统。这一特性很重要，因为它有助于用典型的递归脉冲神经元电路实时处理连续输入流。在LSM中，输入 (u(.)) 和输出 (y(.)) 都是数据流，可能是多维的。算子或滤波器 (L_M) 将输入数据流 (u(.)) 映射到输出数据流 (y(.))，而不是将数字映射到数字。这种计算处理的特征是，目标输出 (y(t)) 不仅取决于时间点 (s) 的输入 (u(s)) 的值，还取决于许多先前时间点的过去输入。

2.3 总结

水库网络为实时计算提供了一种有效的计算框架，LSM作为水库网络的一种典型代表，通过递归连接和随机稀疏的神经元结构，能够将时变输入转化为时空激活模式，并通过读出部分提取有用信息。其计算特性使其在处理连续数据流和实时计算任务中具有优势，为模拟生物神经系统的信息处理提供了有力工具。

3. 总结与展望

连续吸引子网络（CANN）和水库网络（如LSM）在神经信息处理领域展现出独特的优势和应用潜力。CANN通过其内在的动力学特性，能够处理连续刺激、跟踪移动目标并实现预期跟踪，为解释生物神经系统中的一些现象提供了理论基础；水库网络则以其高效的实时计算能力和自适应特性，为处理连续数据流和实现多种计算任务提供了有效的框架。

未来的研究可以进一步探索这两种网络模型的结合，以实现更复杂的信息处理任务。例如，将CANN的跟踪和预期能力与水库网络的实时计算能力相结合，可能在机器人视觉、运动控制等领域取得更好的应用效果。此外，深入研究这两种网络模型的生物学基础，使其更准确地模拟生物神经系统的信息处理机制，也是未来研究的重要方向。同时，随着硬件技术的发展，如何在实际硬件平台上高效实现这些网络模型，也是需要解决的问题。

4. 连续吸引子网络与水库网络的对比分析

4.1 动力学特性对比

网络类型	动力学决定因素	状态特点
连续吸引子网络（CANN）	由其他神经元的递归输入、自身松弛以及外部输入决定，可在无外部输入时存在连续稳态，且在子流形上具有中性稳定性	凸起状态呈高斯形状，存在平移不变性，可实现跟踪和预期跟踪
水库网络（以LSM为例）	由递归连接和外部时变输入决定，输入流通过水库的非线性动力学转化为时空激活模式	液态状态由模拟值组成，可随时间连续变化

从动力学特性来看，CANN更侧重于处理连续刺激和跟踪移动目标，其状态具有一定的稳定性和可预测性；而LSM则更注重对时变输入的实时处理，能够将输入信息嵌入到高维的液态状态中。

4.2 计算方式对比

CANN通过将动力学投影到少数主导模式上简化描述，以分析跟踪行为等；而水库网络将计算分为水库和读出两部分，水库负责嵌入输入信息，读出部分通过简单的无记忆读出器提取所需信息。

这种计算方式的差异导致了它们在不同应用场景中的优势。CANN适合处理需要跟踪和预期的任务，而水库网络则在实时计算和处理连续数据流方面表现出色。

4.3 生物学基础对比

CANN的预期跟踪特性为解释生物神经系统中的预期行为提供了理论基础，如大鼠头部方向的内部表示总是领先于实际方向；LSM则作为皮质微电路的通用递归电路模型，模拟了生物神经系统中神经元的递归连接和信息处理方式。

两者都与生物神经系统有一定的联系，但侧重点不同。CANN更关注生物系统中的特定行为现象，而LSM则更注重对生物神经系统结构和功能的模拟。

5. 应用案例分析

5.1 CANN在机器人视觉中的应用

在机器人视觉中，需要对移动目标进行实时跟踪。CANN的跟踪和预期跟踪特性可以很好地满足这一需求。以下是一个简单的应用流程：
1. 输入处理 ：将机器人摄像头捕获的视觉信息转换为CANN可以处理的外部输入形式，例如将目标位置信息表示为 (I_{ext}(x,t))。
2. 网络计算 ：CANN根据输入信息调整自身的凸起状态，实现对目标的跟踪。如果目标移动速度在网络可跟踪范围内，CANN可以平滑地跟踪目标。
3. 输出反馈 ：将CANN的输出信息反馈给机器人的运动控制系统，使机器人能够根据目标位置调整自身的运动。

5.2 LSM在语音识别中的应用

语音识别是一个实时处理连续数据流的任务，LSM非常适合此类应用。其应用流程如下：
1. 输入注入 ：将语音信号作为时变输入注入到LSM的液体部分。
2. 信息嵌入 ：LSM的递归连接将语音信号的信息嵌入到液态状态中。
3. 读出提取 ：通过调整读出部分，提取液态状态中与语音识别相关的信息，例如语音的特征和语义。
4. 识别输出 ：将读出部分的输出进行进一步处理，得到最终的语音识别结果。

6. 未来发展趋势

6.1 网络模型的融合

未来可能会将CANN和水库网络的优势相结合，构建更强大的混合网络模型。例如，在一个复杂的智能系统中，利用CANN的跟踪和预期能力处理移动目标信息，同时利用水库网络的实时计算能力处理其他类型的输入信息。这种融合模型可以在机器人导航、智能监控等领域发挥更大的作用。

6.2 生物学基础的深入研究

进一步深入研究CANN和水库网络的生物学基础，使其更准确地模拟生物神经系统的信息处理机制。这不仅可以提高网络模型的性能，还可以为神经科学的研究提供新的视角和方法。例如，研究生物神经元的具体生理机制，将其融入到网络模型的设计中。

6.3 硬件实现的优化

随着硬件技术的不断发展，如何在实际硬件平台上高效实现CANN和水库网络模型是一个重要的研究方向。优化硬件架构，提高计算效率和能源利用率，将有助于这些网络模型在实际应用中的推广。例如，开发专门的神经网络芯片，以加速网络的计算过程。

6.4 应用领域的拓展

除了现有的应用领域，CANN和水库网络还可能在更多领域得到应用。例如，在金融领域，利用CANN的跟踪能力预测市场趋势；在医疗领域，利用水库网络处理生物信号进行疾病诊断。随着技术的不断进步，这些网络模型的应用前景将更加广阔。

7. 结论

连续吸引子网络（CANN）和水库网络（如LSM）作为神经信息处理领域的重要模型，各自具有独特的优势和应用潜力。CANN在处理连续刺激、跟踪移动目标和实现预期跟踪方面表现出色，为解释生物神经系统中的一些现象提供了理论支持；水库网络则以其高效的实时计算能力和自适应特性，在处理连续数据流和实现多种计算任务方面具有优势。

通过对这两种网络模型的对比分析和应用案例研究，我们可以看到它们在不同领域的应用价值。未来，随着网络模型的融合、生物学基础的深入研究、硬件实现的优化和应用领域的拓展，CANN和水库网络有望在更多领域发挥重要作用，为智能系统的发展和神经科学的研究做出更大的贡献。

相关流程图

graph LR
    classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px;
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
    classDef decision fill:#FFF6CC,stroke:#FFBC52,stroke-width:2px;

    A([开始]):::startend --> B(输入处理):::process
    B --> C(网络计算):::process
    C --> D{是否跟踪成功}:::decision
    D -->|是| E(输出反馈):::process
    D -->|否| C
    E --> F([结束]):::startend

以上流程图展示了CANN在机器人视觉中跟踪目标的基本流程。从输入处理开始，经过网络计算判断是否跟踪成功，如果成功则进行输出反馈，否则继续进行网络计算。

graph LR
    classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px;
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;

    A([开始]):::startend --> B(输入注入):::process
    B --> C(信息嵌入):::process
    C --> D(读出提取):::process
    D --> E(识别输出):::process
    E --> F([结束]):::startend

此流程图呈现了LSM在语音识别中的应用流程，包括输入注入、信息嵌入、读出提取和识别输出四个主要步骤。