25、神经信息处理网络模型解析

珊珊333333

于 2025-11-11 07:33:36 发布

阅读量23

点赞数

CC 4.0 BY-SA版权

分类专栏：神经信息处理导论文章标签：液体状态机无标度网络决策网络

本文链接：https://blog.youkuaiyun.com/css33/article/details/154675468

神经信息处理导论专栏收录该内容

25 篇文章 ¥499.90

订阅专栏¥69.90

会员秒杀 ¥9.9 重磅福利

超级会员免费看

神经信息处理网络模型解析

1. 液体状态机（LSM）模型

1.1 LSM模型特点

与其他计算模型相比，LSM是一种自适应计算系统模型。在学习框架下，这种适应性尤为明显。其设计理念源于一个假设：信息处理设备的学习能力是其最关键的方面。传统的循环神经网络（RNN）训练困难，且难以控制其复杂的动态特性。在生物模型中，循环连接的神经回路存在噪声，导致许多方法失效。而LSM的架构使学习变得简单而稳健。它将RNN视为一个储备网络，把学习重点放在从“液体”到读出单元的连接上，这只是一个简单的线性回归过程。

读出神经元通常代表“液体”的外围网络，可以用线性门、感知器、Sigmoid门或脉冲神经元来建模。“液体”就像一个预处理器，能扩大输入流可学习的可能函数范围。一个“液体”LSM可以为大量不同的读出神经元服务，每个读出神经元从相同的“液体”中提取不同的信息摘要，还能在同一电路中并行进行多个实时计算，这似乎是神经微电路的一个普遍特征。

1.2 LSM模型应用

LSM在信息处理领域有广泛的应用。例如，David Sussillo使用储备网络实现了跑步和行走任务。他们采用了稀疏和全连接两种架构进行实验，结果相似。通过使用力学习规则，成功训练网络产生了类似于复杂人类运动的多种高维非周期模式。

2. 无标度网络

2.1 无标度网络研究背景

在给定任务范围内，哪种储备网络最优是该领域的常见研究问题。传统研究通常认为储备网络是随机网络，对于具有特定大尺寸拓扑结构的储备网络的计算能力了解甚少。Mi等人最近研究了具有无标度拓扑结构的储备网络，发现这种网络可以产生广泛的长周期振荡。

2.2 无标度网络结构特点

该模型有两个关键结构：
- 无标度拓扑 ：网络由少数具有许多连接的“枢纽神经元”和大量连接较少的“低度数神经元”组成。
- 枢纽神经元难激活 ：为避免网络出现癫痫样放电，枢纽神经元难以被激活。这可以通过两种方式实现：一是考虑神经元之间的电耦合；二是考虑化学突触的效能随突触后神经元的连接性降低。

2.3 无标度网络工作机制

由于上述两个特性，网络具有保留节律同步放电的能力。其工作机制如下：
- 网络中存在由低度数神经元形成的环路，这些环路在两次同步放电之间保留活动种子。
- 当活动沿环路传播时，很少有枢纽神经元被激活，从而使整个网络同步。
- 低度数环路的长度编码了网络同步放电的节律。

无标度网络有大量低度数神经元，它们形成不同长度的低度数环路，因此网络有能力维持广泛的节律活动。当受到节律性外部输入时，神经系统会从其储备中选择一个与输入节律匹配的低度数环路，这种匹配操作可以通过学习过程实现。

下面是无标度网络工作机制的mermaid流程图：

graph LR
    A[外部节律输入] --> B[选择匹配低度数环路]
    B --> C[环路保留活动种子]
    C --> D[活动沿环路传播]
    D --> E[少量枢纽神经元激活]
    E --> F[网络同步放电]

3. 决策网络模型

3.1 决策机制研究背景

决策是大脑的一项基本功能，指在两个或多个备选方案中选择一个观点或行动的认知过程。实验研究已经揭示了单神经元水平上与决策相关的神经信号，但决策背后的神经机制仍不清楚。下面介绍几种用于揭示决策神经机制的计算模型。

3.2 实验证据：随机点运动（RDM）方向辨别任务

这是一个经典的决策研究实验。最初用于研究感觉编码与感知之间的关系，后来发展出反应时间（RT）版本用于研究决策过程。在实验中，猴子需要在随机点显示的两个可能（相反）运动方向中做出选择，一旦确定选择，就通过扫视来指示。任务难度通过改变相干运动点的百分比来控制，平均反应时间随任务难度增加而增加。研究记录了外侧顶内沟（LIP）神经元的活动，发现其中一些神经元的活动与决策行为相关，即神经活动是运动点相干水平的分级函数。

3.3 扩散/竞赛模型

3.3.1 竞赛模型

竞赛模型是一个抽象模型，用于描述大脑中的决策过程。该模型假设存在决策变量，每个备选方案对应一个决策变量，它们收集证据以产生相应的选择。这就像一场竞赛，代表不同选择的累加器积累活动，最先达到规定阈值的累加器产生选择。其动力学方程（两个备选方案）如下：
[
\begin{align }
e^{\pm}(t) &= \int_{0}^{t} s^{\pm}(t)dt\
s^{+}(t) &= \max(s(t), 0)\
s^{-}(t) &= \max(-s(t), 0)
\end{align }
]
其中，$e(t)$ 是某一方向在时间 $t$ 的累加器（决策变量），“$+/-$” 代表不同方向，$s(t)$ 代表相应方向的刺激。

3.3.2 扩散模型

扩散模型类似于竞赛模型，用于描述LIP神经元的决策过程。由于累加器的行为类似于扩散过程（或随机游走），因此被称为扩散模型。其两个备选方案的动力学方程为：
[
\frac{de}{dt} = s_L - s_R + noise
]
其中，$e(t)$ 是证据累加器，$s$ 是信号强度，下标 “L” 和 “R” 分别代表左和右方向。

3.3.3 线性泄漏竞争累加器（LCA）模型

为了引入“遗忘”概念或积分时间窗口，开发了LCA模型。该模型通过在证据积分中包含泄漏项来模拟真实神经元的动态，其动力学方程为：
[
\frac{de}{dt} = -\frac{e}{\tau} + s_L - s_R + noise
]
其中，$\tau$ 是泄漏时间常数，决定了刺激证据积累的时间窗口。在实际中，$\tau$ 必须很大（数百毫秒）才能重现实验中观察到的长时间积累过程。

3.4 递归神经网络模型

Wang等人提出了一个更符合生物学现实的网络模型来实现决策。该模型受LCA模型启发，通过使用由NMDA受体介导的慢突触来实现长期证据积累。此外，模型利用递归兴奋和反馈抑制的组合来产生吸引子动力学，从而放大冲突输入之间的细微差异，以获得二元选择。

3.4.1 模型结构

为了模拟二选一决策任务，模型由两个神经组组成，每个神经组对两个运动方向之一具有选择性（例如，左运动和右运动）。神经组内的强递归兴奋连接能够产生自我维持的持续活动。两个神经组之间存在竞争，由共同连接的中间神经元的共享反馈介导。所有神经元都接收背景泊松输入，在没有刺激输入时会自发放电。

3.4.2 模型输入与任务难度控制

在辨别任务中，两个神经组分别以速率 $S_A(t)$ 和 $S_B(t)$ 接收随机泊松输入。刺激 $S_A(t)$ 和 $S_B(t)$ 随时间变化，其分布为高斯分布，均值分别为 $\mu_A$ 和 $\mu_B$，标准差为 $\sigma$。任务难度通过改变相干运动点的百分比来控制，用 $c_0 = 100\frac{\mu_A - \mu_B}{\mu_A + \mu_B}$ 来衡量。当相干性较小时，两个神经组的输入相似，辨别任务困难；反之，任务容易。

3.4.3 神经元动力学方程

单个神经元的动力学方程为：
[
C_m\frac{dV(t)}{dt} = -g_L(V(t) - V_L) - I_{syn}(t)
]
其中，$C_m$ 是膜电容，$V(t)$ 是膜电位，$V_L$ 是静息电位，$g_L$ 是泄漏电导，$I_{syn}(t)$ 是神经元的总突触电流。

突触电流包含兴奋和抑制成分，兴奋成分由AMPA（快速动力学）和NMDA（慢动力学）受体介导，抑制成分由GABA受体介导，具体方程如下：
[
I_{syn}(t) = I_{ext,AMPA}(t) + I_{rec,AMPA}(t) + I_{rec,NMDA}(t) + I_{rec,GABA}(t)
]
其中：
[
\begin{align }
I_{ext,AMPA}(t) &= g_{ext,AMPA}(V(t) - V_E)s_{ext,AMPA}(t)\
I_{rec,AMPA}(t) &= g_{rec,AMPA}(V(t) - V_E)\sum_{j}^{N_E} w_{j}s_{j}^{AMPA}(t)\
I_{rec,NMDA}(t) &= g_{rec,NMDA}(V(t) - V_E)\sum_{j}^{N_E} w_{j}s_{j}^{NMDA}(t)\
I_{rec,GABA}(t) &= g_{rec,GABA}(V(t) - V_E)\sum_{j}^{N_I} s_{j}^{GABA}(t)
\end{align }
]
对于AMPA和GABA受体，门控变量 $s$ 的方程为：
[
\frac{ds_A^j}{dt} = -\frac{s_A^j}{\tau_A^j} + \sum_{k} \delta(t - t_k^j)
]
对于NMDA受体，门控变量 $s$ 的方程为：
[
\begin{align }
\frac{ds_{NMDA}^j(t)}{dt} &= -\frac{s_{NMDA}^j(t)}{\tau_{NMDA,decay}} + \alpha x_j(t)(1 - s_{NMDA}^j(t))\
\frac{dx_j(t)}{dt} &= -\frac{x_j(t)}{\tau_{NMDA,rise}} + \sum_{k} \delta(t - t_k^j)
\end{align }
]

该模型重现了决策过程。通过假设当两个神经组中任一组的群体活动达到阈值时做出决策，可以测量反应时间。模拟结果与实验中观察到的许多生理数据相符。

以下是决策模型的相关总结列表：
- 竞赛模型 ：通过决策变量竞赛产生选择，有明确的动力学方程。
- 扩散模型 ：累加器行为类似扩散过程，用于描述LIP神经元决策。
- LCA模型 ：引入泄漏项模拟真实神经元动态。
- 递归神经网络模型 ：利用慢突触和吸引子动力学实现决策，有详细的神经元和突触电流方程。

下面是递归神经网络模型决策过程的mermaid流程图：

graph LR
    A[输入刺激] --> B[神经组接收输入]
    B --> C[证据积累]
    C --> D[神经组竞争]
    D --> E[达到阈值做出决策]

4. 动态突触网络模型

4.1 动态突触的概念

神经元、突触及其形成的网络是大脑实现各种功能的基本单元。在传统建模研究中，通常假设神经元连接权重（即突触前神经元放电对突触后神经元状态的影响效率）是一个常数。但在真实的生物系统中并非如此，神经元突触会根据神经元的放电历史发生时间上的变化，这种现象称为短期可塑性（STP）或动态突触。动态突触赋予了神经系统新的信息处理能力，而这些能力用静态突触很难实现。

4.2 动态突触的分类

突触可塑性可分为三大类：
- 长期可塑性（LTP） ：变化持续数小时或更长时间，对学习和记忆至关重要。
- 稳态可塑性 ：神经元调节自身兴奋性以适应网络活动的能力，是一种在数天时间尺度上发生的补偿性调整。
- 短期可塑性（STP） ：是本节的主要关注点，指突触效能随时间变化，反映突触前活动历史。与LTP相比，STP的时间尺度较短，通常在数百到数千毫秒的数量级。

STP又可进一步分为两种相反的类型：
- 短期抑制（STD） ：由突触前神经元轴突末梢在突触信号传递过程中神经递质耗尽引起。
- 短期促进（STF） ：由突触前神经元产生动作电位后，钙离子流入轴突末梢，增加神经递质释放概率引起。

4.3 STP的现象学模型

由于导致STP的生物机制相当复杂，在研究STP的计算作用时，主要依赖简化的现象学模型。Tsodyks和Markram提出的现象学模型中，STP的描述方程如下：
[
\begin{align }
\frac{du}{dt} &= -\frac{u}{\tau_f} + U(1 - u^-)\delta(t - t_{sp})\
\frac{dx}{dt} &= -\frac{1 - x}{\tau_d} - u^+x^-\delta(t - t_{sp})\
\frac{dI}{dt} &= -\frac{1}{\tau_s} + Au^+x^-\delta(t - t_{sp})
\end{align }
]
其中：
- 归一化变量 $x$（$0 \leq x \leq 1$）表示神经递质耗尽后剩余可用资源的比例，用于模拟STD效应。
- 利用率参数 $u$ 表示可用资源准备使用的比例（释放概率），用于模拟STF效应。
- $\tau_f$ 和 $\tau_d$ 分别是STF和STD的时间常数，决定了 $u$ 和 $x$ 向其平衡值移动的速度。
- $t_{sp}$ 表示尖峰时间，$U$ 是尖峰产生的 $u$ 的增量。
- $I$ 表示突触电流，$A$ 表示所有神经递质完全释放时产生的响应幅度，称为连接的绝对突触效能。
- $\delta(t - t_{sp})$ 是狄拉克δ函数。

当系统长时间没有发生尖峰时，稳定平衡点为 $u = 0$，$x = 1$，$I = 0$。当尖峰发生时，在尖峰时间 $t_{sp}$ 有 $du = U$，$dx = -U$，$dI = AU$，即准备使用的可用资源比例 $u$ 立即增加 $U$，神经递质耗尽后剩余可用资源比例 $x$ 立即减少 $U$，突触电流 $I$ 增加 $AU$。

突触电流由 $u^+x^-$ 项决定，因此 $u$ 和 $x$ 的动态相互作用决定了突触电流是由抑制还是促进主导：
- 当 $\tau_d \gg \tau_f$ 且 $U$ 较大时，初始尖峰导致 $x$ 大幅下降，且恢复时间较长，突触以STD为主导。
- 当 $\tau_f \gg \tau_d$ 且 $U$ 较小时，尖峰逐渐增加突触效能，突触以STF为主导。

这个现象学模型成功重现了许多皮质区域观察到的抑制和促进突触的动力学。

以下是动态突触相关内容的总结表格：
| 分类 | 描述 | 相关参数及方程 |
| — | — | — |
| 突触可塑性类型 | 长期可塑性（LTP）、稳态可塑性、短期可塑性（STP） | - |
| STP类型 | 短期抑制（STD）、短期促进（STF） | - |
| STP现象学模型 | 用 $x$ 模拟STD，$u$ 模拟STF | (\frac{du}{dt} = -\frac{u}{\tau_f} + U(1 - u^-)\delta(t - t_{sp}))
(\frac{dx}{dt} = -\frac{1 - x}{\tau_d} - u^+x^-\delta(t - t_{sp}))
(\frac{dI}{dt} = -\frac{1}{\tau_s} + Au^+x^-\delta(t - t_{sp})) |

下面是动态突触STP现象学模型的mermaid流程图：

graph LR
    A[尖峰发生] --> B[u增加, x减少, I增加]
    B --> C{主导类型判断}
    C -- τd >> τf且U大 --> D[STD主导]
    C -- τf >> τd且U小 --> E[STF主导]

4.4 动态突触对神经动力学的影响

动态突触的存在使得神经动力学更加复杂和多样化。由于突触效能随时间和神经元放电历史变化，神经元之间的信息传递不再是固定不变的，这为神经系统带来了更强的适应性和灵活性。例如，在不同的刺激频率下，STP的不同类型（STD和STF）会导致突触传递效率的不同变化，从而影响神经元的放电模式和网络的整体活动。

在高频刺激下，STD可能会导致突触传递效率下降，从而限制神经元的过度兴奋，起到一种保护机制的作用。而在低频刺激下，STF可能会增强突触传递效率，使得神经元更容易被激活，提高神经系统对微弱信号的敏感性。

此外，动态突触还可以影响神经振荡的特性。不同的STP参数组合可以导致网络产生不同频率和幅度的振荡，这对于神经系统的节律性活动，如睡眠周期、呼吸节律等可能具有重要意义。

以下是动态突触影响神经动力学的总结列表：
- 增加神经动力学的复杂性和多样性。
- 提供更强的适应性和灵活性。
- 在不同刺激频率下调节突触传递效率。
- 影响神经振荡的特性。

综上所述，这些网络模型从不同角度揭示了神经信息处理的机制。液体状态机模型为信息处理提供了简单而稳健的学习架构；无标度网络模型展示了特定拓扑结构在产生节律活动方面的优势；决策网络模型帮助我们理解大脑的决策过程；动态突触网络模型则考虑了真实生物系统中突触的动态特性。这些模型的研究有助于我们更深入地了解神经系统的工作原理，为神经科学和人工智能等领域的发展提供了重要的理论基础。