23、神经网络模型：从联想记忆到连续吸引子网络

神经网络模型：从联想记忆到连续吸引子网络

在神经科学领域，理解神经网络如何实现大脑功能是建模研究的核心。神经元和突触作为大脑的基本构建单元，形成了各种结构的神经回路，从而实现不同的功能。接下来，我们将介绍几种重要的网络模型，包括经典的霍普菲尔德模型、连续吸引子神经网络和蓄水池网络，同时探讨神经元突触的短期可塑性对神经网络动态和计算的影响。

1. 霍普菲尔德联想记忆模型

记忆是神经科学中一个古老且活跃的研究课题。从概念上讲，记忆涉及知识的表示、存储和检索过程，而获取记忆的过程就是学习。尽管我们对与不同形式记忆相关的大脑区域有了一定的了解，但对于记忆项究竟如何存储在大脑中仍然不清楚。

1.1 霍普菲尔德模型概述

20世纪中叶，唐纳德·赫布（Donald Hebb）提出，如果反复驱动细胞活动的突触连接得到增强，记忆就可以被存储。这种共激活神经元之间突触连接的强化被称为赫布可塑性，并在后来得到了实验验证。联想记忆是一种特定形式的记忆，即给定数据的部分信息，整个数据知识可以通过网络系统的动态过程被检索出来。约翰·J·霍普菲尔德（John J. Hopfield）在1982年提出的霍普菲尔德模型是联想记忆最有影响力的模型之一。

1.2 模型具体内容

• 神经元状态 ：每个神经元被建模为一个二进制状态变量$S_i$，分别有激活状态（+1）和非激活状态（-1）。神经元在网络中的动态由以下公式给出：
  $S_i = \text{sgn}(\sum_{j} w_{ij}S_j - \theta)$
  其中神经元激活函数选择为符号函数：
  $\text{sgn}(x) =
  \begin{cases}
  +1, & x \geq 0 \
  -1, & x < 0
  \end{cases}$
  通常为了简化，我们令阈值$\theta = 0$。
• 突触连接强度 ：从神经元$j$到神经元$i$的突触连接强度$w_{ij}$设置为：
  $w_{ij} = \frac{1}{N} \sum_{\mu = 1}^{P} \xi_{i}^{\mu} \xi_{j}^{\mu}$
  其中$N$是神经元的数量，$P$是存储模式的总数，$\xi_{i}^{\mu}$是存储模式$\mu$的第$i$个元素。这样设置的连接权重是对称的，即$w_{ij} = w_{ji}$，这种设置通常被称为赫布学习规则。不过，该规则在两个神经元都不活跃时也会对连接权重产生积极影响，这在生物学上并不合理。同时，模型中神经元的自连接权重$w_{ii}$设置为0，这有助于网络动态收敛到其存储模式。
• 神经元状态更新方式 ：神经元状态有两种更新方式，即异步和同步。异步更新时，每次随机选择一个神经元根据上述公式更新其状态；同步更新时，所有神经元同时更新。异步更新对于生物系统来说更自然和现实。
• 记忆检索过程 ：霍普菲尔德模型通过网络动态从存储模式的初始噪声版本中召回存储模式。每个存储模式对应于动态状态空间中的一个吸引子，因此所有接近存储模式的初始状态都会通过网络动态收敛到该存储模式。

1.3 记忆稳定性与错误召回概率

• 记忆稳定性条件 ：记忆模式稳定的条件是：
  $\text{sgn}(\sum_{j} w_{ij} \xi_{j}^{\nu}) = \xi_{i}^{\nu}, \text{ 对于 } i = 1, \ldots, N$
  神经元接收到的总输入为：
  $h_{i}^{\nu} = \sum_{j} w_{ij} \xi_{j}^{\nu} = \frac{1}{N} \sum_{j} \sum_{\mu} \xi_{i}^{\mu} \xi_{j}^{\mu} \xi_{j}^{\nu}$
  可进一步分为两项：
  $h_{i}^{\nu} = \xi_{i}^{\nu} + \frac{1}{N} \sum_{j} \sum_{\mu \neq \nu} \xi_{i}^{\mu} \xi_{j}^{\mu} \xi_{j}^{\nu}$
  如果第二项（称为串扰项）相对于第一项足够小（小于1），所有接近存储模式的噪声模式都会松弛到存储模式，从而实现稳定的联想记忆。
• 错误召回概率 ：为了确定霍普菲尔德模型在何种条件下能正确检索模式，我们定义以下量：
  $C_{i}^{\nu} = - \xi_{i}^{\nu} \frac{1}{N} \sum_{j} \sum_{\mu \neq \nu} \xi_{i}^{\mu} \xi_{j}^{\mu} \xi_{j}^{\nu}$
  如果$C_{i}^{\nu}$为负，串扰项与存储项$\xi_{i}^{\nu}$具有相同的符号，成功检索发生；如果$C_{i}^{\nu}$为正且大于1，则神经元$i$的状态翻转，导致错误召回。对于纯随机模式，错误召回的概率为：
  $P_{error} = \text{Prob}(C_{i}^{\nu} > 1)$
  在大型网络中，$C_{i}^{\nu}$可以近似为零均值和方差$\sigma^2 = \frac{P}{N}$的高斯随机变量。因此：
  $P_{error} = \text{Prob}(C_{i}^{\nu} > 1) = \frac{1}{\sqrt{2\pi}\sigma} \int_{1}^{\infty} e^{-x^2 / 2\sigma^2} dx = \frac{1}{2} [1 - \text{erf}(\sqrt{N / 2P})]$
  其中$\text{erf}(.)$是误差函数。例如，如果我们设置标准$P_{error} < 0.01$，则得到$P_{max} = 0.15N$。这表明，如果允许随机存储模式有小百分比的误差，存储容量$P_{max}$与网络大小$N$成正比。不过，对于非随机模式，存储容量会发生变化。

1.4 能量函数与伪状态

霍普菲尔德模型引入了能量函数的概念，其定义为：
$E = - \frac{1}{2} \sum_{ij} w_{ij} S_i S_j$
能量函数为每个网络状态分配一个值，并确保在更新时能量函数的值会减小或保持不变。因此，神经系统中的计算可以看作是从高能量的初始状态开始，网络演变为低能量状态，直到达到其能量景观中的局部最小值。这个局部最小值通常对应于动态状态空间中的一个吸引子。

在霍普菲尔德模型中，除了对应于存储模式的吸引子外，还有一些对记忆无用的吸引子，称为伪状态。例如，相对于存储模式的反转状态就是一种伪状态，它们与原始状态具有相同的能量。

2. 连续吸引子神经网络

连续吸引子神经网络（CANNs）是一种理想化的神经信息表示计算模型。其关键结构是神经元循环交互的平移不变性。在适当的参数下，CANN可以拥有连续的局部静止状态（通常称为“凸起”），每个状态对应于神经系统编码的一个特征值。这些凸起状态在网络状态空间中形成一个流形，网络在该流形上是中性稳定的，这使得CANN能够平滑地跟踪外部输入的变化。

2.1 CANNs的应用

CANNs已成功应用于描述神经系统中连续刺激的编码，如方向、移动方向、头部方向和物体的空间位置等。它们也广泛用于其他建模研究，如工作记忆和决策制定，尽管有时人们可能不会强调他们的模型具有CANN的结构。

2.2 CANN模型的数学表述

考虑一个一维连续刺激$x$（例如头部方向或方向）由一组神经元编码。$x$的值在$[-\pi, \pi]$范围内，并施加周期性条件。神经元根据其偏好的刺激值在网络中排列。用$U(x,t)$表示在时间$t$时，偏好刺激为$x$的神经元的突触输入，$r(x,t)$表示相应的响应。

CANN模型的具体数学表述可以通过以下步骤理解：
1. 神经元排列 ：神经元按照其偏好的刺激值有序排列，形成一个连续的编码空间。
2. 突触输入与响应 ：$U(x,t)$反映了神经元接收到的来自其他神经元的突触输入，而$r(x,t)$则是神经元对这些输入的响应。
3. 动态过程 ：通过特定的数学方程来描述$U(x,t)$和$r(x,t)$随时间的变化，从而捕捉网络的动态行为。

通过这种方式，CANN模型能够有效地表示和处理连续刺激，为理解神经信息的编码和处理提供了重要的理论框架。

综上所述，霍普菲尔德模型和连续吸引子神经网络在神经科学的建模研究中都具有重要意义。霍普菲尔德模型为我们理解联想记忆的形成提供了深刻的见解，而连续吸引子神经网络则在处理连续刺激方面展现出强大的能力。这些模型不仅帮助我们更好地理解大脑的工作原理，也为开发智能计算系统提供了有益的借鉴。

下面是一个简单的mermaid流程图，展示霍普菲尔德模型的记忆检索过程：

graph TD;
    A[初始噪声模式] --> B[网络动态更新];
    B --> C{是否收敛到存储模式};
    C -- 是 --> D[成功检索记忆];
    C -- 否 --> B;

同时，我们可以用表格总结一下霍普菲尔德模型和连续吸引子神经网络的特点：
| 模型名称 | 主要特点 | 应用场景 |
| ---- | ---- | ---- |
| 霍普菲尔德模型 | 基于赫布学习规则，用二进制神经元状态和对称连接权重，引入能量函数 | 联想记忆 |
| 连续吸引子神经网络 | 具有平移不变性，拥有连续的局部静止状态 | 连续刺激编码、工作记忆、决策制定 |

3. 蓄水池网络

前面介绍了霍普菲尔德模型和连续吸引子神经网络，接下来我们探讨蓄水池网络。该网络摒弃了吸引子的概念。考虑到参与大脑功能的神经元数量庞大，且单个神经元和突触的动态具有随机性和多样性，蓄水池网络假设不存在精心设计的“神经编码”，而是将刺激信息因果地编码在网络的大状态空间中。下游系统学习读取这些刺激信息，在实践中这是一个相对容易的问题。

3.1 蓄水池网络的工作原理

• 信息编码 ：大量神经元组成的网络对输入的刺激信息进行复杂的非线性变换，将其分散编码到网络的高维状态空间中。
• 下游读取 ：下游系统通过学习算法，从网络的状态空间中提取与刺激信息相关的特征，实现对刺激信息的读取。

3.2 蓄水池网络的优势

• 适应性强 ：能够处理各种类型的输入信号，对复杂和动态的环境具有较好的适应性。
• 计算高效 ：避免了对复杂神经编码的设计，降低了计算复杂度。

4. 模拟决策过程中的证据积累网络

在决策过程中，大脑需要对各种信息进行收集和整合，以做出最优的选择。为了模拟这一过程，科学家们提出了相关的网络模型。

4.1 证据积累的概念

证据积累是指在决策过程中，不断收集和整合与不同选项相关的证据，直到达到某个决策阈值，从而做出决策。

4.2 网络模型的模拟方式

• 神经元活动 ：通过模拟神经元的活动来表示证据的积累过程。不同的神经元群体对应不同的决策选项，其活动水平随着证据的积累而变化。
• 决策阈值 ：设定一个决策阈值，当某个神经元群体的活动水平达到该阈值时，就做出相应的决策。

以下是一个mermaid流程图，展示证据积累网络的决策过程：

graph TD;
    A[开始收集证据] --> B[证据积累];
    B --> C{是否达到决策阈值};
    C -- 是 --> D[做出决策];
    C -- 否 --> B;

5. 神经元突触短期可塑性对网络的影响

神经元突触的短期可塑性是指突触连接强度在短时间内的变化。这种可塑性对神经网络的动态和计算具有重要影响。

5.1 短期可塑性的类型

• 突触增强 ：在短时间内，突触连接强度增加，使得神经元之间的信号传递更加容易。
• 突触抑制 ：突触连接强度在短时间内降低，减少神经元之间的信号传递。

5.2 对网络动态和计算的影响

• 动态变化 ：短期可塑性可以改变网络的动态行为，使网络能够快速适应不同的输入信号。
• 计算能力 ：影响网络的计算能力，例如增强网络的信息处理能力和决策能力。

我们可以用表格总结一下上述几种网络模型的特点和影响：
| 模型名称 | 主要特点 | 应用场景 | 对网络的影响 |
| ---- | ---- | ---- | ---- |
| 霍普菲尔德模型 | 基于赫布学习规则，二进制神经元状态，对称连接权重，有能量函数 | 联想记忆 | 可实现记忆存储和检索，但存在伪状态 |
| 连续吸引子神经网络 | 平移不变性，连续局部静止状态 | 连续刺激编码、工作记忆、决策制定 | 能平滑跟踪外部输入变化 |
| 蓄水池网络 | 无精心设计神经编码，信息编码在大状态空间 | 处理复杂动态输入 | 适应性强、计算高效 |
| 证据积累网络 | 模拟决策过程中的证据积累 | 决策制定 | 帮助做出最优决策 |
| 考虑突触短期可塑性的网络 | 突触连接强度短时间变化 | 多种神经功能 | 改变网络动态和计算能力 |

综上所述，不同的神经网络模型在神经科学研究中都有着独特的作用。霍普菲尔德模型为联想记忆提供了理论基础，连续吸引子神经网络在处理连续刺激方面表现出色，蓄水池网络适应复杂动态环境，证据积累网络模拟决策过程，而考虑突触短期可塑性的网络则进一步揭示了神经网络的动态特性。这些模型相互补充，共同推动了我们对大脑功能和神经信息处理的深入理解。