27、多模式单神经元算术运算的深入解析

多模式单神经元算术运算的深入解析

一、模型特征度量

在刻画模型的清洁运算时，有两种重要的度量类型：
1. 近似清洁运算 ：对于给定的 $\epsilon > 0$，若实际的复合运算 $V = f(g_1, g_2, …, g_n)$ 在子空间 $S$ 中能被清洁运算 $g_1 \circ g_2 \cdots \circ g_n$ 近似，即对于任意的 $(g_1, g_2, \cdots, g_n) \in S$，都有 $|f(g_1, g_2, \cdots, g_n) - g_1 \circ g_2 \cdots \circ g_n| < \epsilon$，则称该近似成立，$S$ 被称为运算 $\circ$ 的定义域范围。
2. 动态范围 ：给定定义域范围 $S$ 和 $(g_1, g_2, \cdots, g_n) \in S$，量 $\eta = \max{g_1 \circ g_2 \cdots \circ g_n} - \min{g_1 \circ g_2 \cdots \circ g_n}$ 用于描述运算 $\circ$ 的动态范围。

根据定义域范围和动态范围的度量，可将模型运算分为以下三类：
- 欠发达 ：若在所有维度上定义域范围都很窄，则该算术模式属于欠发达。
- 发达 ：若在至少一个输入电导维度上具有较宽的定义域范围（与 $g_m$ 相比），则为发达模式。
- 高度发达 ：除了在至少一个输入电导维度上有宽的定义域范围外，定义域范围 $S$ 还占据输入空间 $\mathbb{R}^n(g_1, g_2, \cdots, g_n)$ 的很大一部分，则为高度发达模式。

二、神经元算术的相空间

（一）清洁算术的原型

对于 $n$ 个相邻斑块的系统，三种极化配置能执行的最一般复合运算是有理函数：
[V = \frac{\sum_{j = 1}^{n} E_j g_j}{n g_m + \sum_{j = 1}^{n} g_j}]
在正欧姆关系下，除 $E_j$ 外，所有系数均为正常数。该函数在定义域内处处解析，且当 $E_j > 0$（或 $E_j < 0$）时，$V$ 是 $g_j$ 的单调递增（或递减）函数。对于大值输入电导，$V$ 会饱和，满足：
[\min{E_1, E_2, \cdots, E_n} \leq V \leq \max{E_1, E_2, \cdots, E_n}]
更宽松的估计为：
[E_{IPSP} \leq V \leq E_{EPSP}]

基于此有理函数，构建以下清洁算术运算原型：
1. 求和与减法 ：有理函数可近似为线性算术 $u = \sum_{j = 1}^{n} E_j g_j$，其中 $E_j$ 为常数。同极化斑块的输入电导进行求和，异极化斑块的输入电导进行减法。
2. 乘法 ：当 $n = 2$ 时，$V = \frac{E_1 g_1 + E_2 g_2}{2 g_m + g_1 + g_2}$ 可近似为 $V \approx \frac{E_2}{2 g_m} g_1 g_2$。
3. 除法 ：将指标集 ${j}$ 划分为两个不重叠子集 ${k}$ 和 ${l}$，$V \approx \frac{\sum_{k} E_k g_k}{n g_m + \sum_{l} g_l}$，即对应指标集 ${l}$ 的输入电导有效除子集 ${k}$ 中的电导。当 $n = 2$ 时，$V = \frac{E_1 g_1 + E_2 g_2}{2 g_m + g_1 + g_2}$ 近似为 $V \approx \frac{E_1 g_1}{g_1 + 2 g_m}$。

（二）定义域范围

当 $n = 2$ 时，线性算术、乘法和除法的定义域范围 $S$ 由关于 $g_1$ 和 $g_2$ 的不等式描述，具体如下：
1. 线性运算
- 情况 I（同极化斑块；加法运算） ：$E_1 = E_2 \neq 0$ 时，$0 < g_1 + g_2 < g_m[\epsilon + \sqrt{\epsilon(\epsilon + 4|E_1|)}] / |E_1|$。
- 情况 II（异极化斑块；减法运算） ：$E_1 > 0 > E_2$ 时，当 $g_2 > g_m[\epsilon + \sqrt{\epsilon(\epsilon + 4|E_2|)}] / |E_2|$，有：
[\sqrt{[g_2(|E_1| + |E_2|) - 2\epsilon g_m]^2 - 16\epsilon|E_1| g_2^2} - 2\epsilon g_m < 2|E_1| g_1 - (|E_1| - |E_2|) g_2 < \sqrt{[g_2(|E_1| + |E_2|) + 2\epsilon g_m]^2 + 16\epsilon|E_1| g_2^2} + 2\epsilon g_m]
当 $g_2 < g_m[\epsilon + \sqrt{\epsilon(\epsilon + 4|E_2|)}] / |E_2|$，有：
[0 < 2|E_1| g_1 < \sqrt{[g_2(|E_1| + |E_2|) + 2\epsilon g_m]^2 + 16\epsilon|E_1| g_2^2} + 2\epsilon g_m - (|E_1| - |E_2|) g_2]
2. 乘法
- 情况 I（同极化乘法） ：$E_1 = E_2 \neq 0$ 时，
[4g_1(|E_1| - \epsilon) - |E_1| g_2(g_2 - 2g_m) + \sqrt{[4g_1(|E_1| - \epsilon) + |E_1| g_2(g_2 + 2g_m)]^2 - 32E_1^2 g_1 g_2} < 2|E_1| g_1 g_2 < 4g_1(|E_1| + \epsilon) - |E_1| g_2(g_2 + 2g_m) + \sqrt{[4g_1(|E_1| + \epsilon) + |E_1| g_2(g_2 + 2g_m)]^2 - 32E_1^2 g_1 g_2}]
- 情况 II（异极化乘法） ：$E_1 > 0 > E_2$ 时，
[4g_1(|E_1| - \epsilon) - |E_2| g_2(g_2 + 2g_m) + \sqrt{[4g_1(|E_2| - \epsilon) + |E_2| g_2(g_2 + 2g_m)]^2 - 32E_1^2 g_1 g_2} < 2|E_2| g_1 g_2 < 4g_1(|E_1| + \epsilon) - |E_2| g_2(g_2 + 2g_m) + \sqrt{[4g_1(|E_2| + \epsilon) + |E_2| g_2(g_2 + 2g_m)]^2 - 32E_1^2 g_1 g_2}]
- 情况 III（分流乘法） ：$E_1 = 0, E_2 \neq 0$ 时，
[\sqrt{(g_2|E_2|(g_2 + 2g_m) - 4\epsilon g_1)^2 + 16(g_m g_2|E_2|)^2} - [g_2|E_2|(g_2 + 2g_m) + 4\epsilon g_1] < 2|E_2| g_1 g_2 < \sqrt{(g_2|E_2|(g_2 + 2g_m) + 4\epsilon g_1)^2 + 16(g_m g_2|E_2|)^2} - [g_2|E_2|(g_2 + 2g_m) - 4\epsilon g_1]]
3. 除法
- 情况 I（同极化除法） ：$E_1 = E_2 \neq 0$ 时，
[\frac{-\epsilon(g_2 + 4g_m) + 2g_m|E_1| + \sqrt{(2g_1|E_1| - \epsilon g_2)^2 - 4|E_1|(|E_1| + \epsilon) g_2}}{2(|E_1| + \epsilon)} < g_1 < \frac{\epsilon(g_2 + 4g_m) - 2g_m|E_1| + \sqrt{(\epsilon g_2 + 2g_m|E_1|)^2 - 4|E_1|(|E_1| - \epsilon) g_2}}{2(|E_1| - \epsilon)}]
- 情况 II（异极化除法） ：$E_1 E_2 < 0$ 时，
[\frac{\epsilon(g_2 + 4g_m) - 2g_m|E_1| + \sqrt{(\epsilon g_2 + 2g_m|E_1|)^2 - 4|E_2|(|E_1| - \epsilon) g_1^2}}{2(|E_1| - \epsilon)} < g_1 < \frac{g_m|E_1|}{\sqrt{|E_2|(|E_1| - \epsilon)} - 0.5\epsilon}]
- 情况 III（分流除法） ：$E_1 = 0$ 且 $E_2 \neq 0$ 时，$g_1 > g_2[\sqrt{0.25 + |E_2| / A} - 0.5] - 2g_m$。

以下是不同运算定义域范围的特点总结表格：
|运算类型|定义域范围特点|
| ---- | ---- |
|线性加法|$g_1$ 和 $g_2$ 相对于 $g_m$ 较小时进行运算|
|线性减法|定义域是一个在 $g_1$ 和 $g_2$ 维度上扩展的带，斜率约为 $\vert E_2\vert / \vert E_1\vert$|
|乘法（同极化和异极化）|$S$ 是由两条曲线界定的窄带|
|乘法（分流）|对于小的 $g_2$，分流电导 $g_1$ 可在宽范围内变化，随着被分流电导增加，范围变窄|
|除法（同极化）|$S$ 是斜率接近 1 的带|
|除法（异极化）|$S$ 沿抑制性电导维度延伸|
|除法（分流）|$S$ 占据 $g_1 - g_2$ 平面的一半|

（三）动态范围

由于有理函数及其近似的单调性，通过查看 $S$ 边界上的函数值可确定每个原型运算的动态范围。对于加法运算和分流除法运算，$\eta = [\epsilon + \sqrt{\epsilon(\epsilon + 4|E_1|)}] / 2$。当 $\epsilon = 5$ 时，$E_1 = 65$（EPSP）时，$\eta = 20.7$（mV）；$E_1 = -5$（IPSP）时，$\eta = 8.1$（mV）。

下面是不同运算动态范围的 mermaid 流程图：

graph LR
    A[加法运算] --> B[动态范围计算]
    B --> C[E1 = 65, η = 20.7 mV]
    B --> D[E1 = -5, η = 8.1 mV]
    E[分流除法运算] --> B
    F[其他原型运算] --> G[查看S边界函数值确定动态范围]

（四）相图

相图是输入电导空间的映射，根据原型运算的定义域范围对输入电导子空间进行分类。三种极化配置对应的相图包含以下信息：
1. 可能的算术运算类型 ：两个同极化斑块可进行加法、乘法和除法，但不能进行减法；两个异极化斑块可进行减法、乘法和少量除法；分流配置中乘法和除法是典型运算。
2. 运算域及关系 ：部分相之间存在重叠，表明对于某些输入值，系统的算术函数可能有不同解释。未标记特定功能的区域对应一般有理函数。

不同极化配置下可进行的运算总结如下表：
|极化配置|可进行的运算|
| ---- | ---- |
|两个同极化斑块|加法、乘法、除法|
|两个异极化斑块|减法、乘法、少量除法|
|分流配置|乘法、除法|

三、多模式单神经元算术单元

（一）算术运算的发达程度

根据相图可讨论清洁算术运算原型的发达程度，这反映了该算术运算在特定极化配置中的生物学合理性。三种可能的极化配置中共有八种相，其发达程度总结如下表：
|运算|$g_1$ 定义域范围|$g_2$ 定义域范围|相面积|发达程度|
| ---- | ---- | ---- | ---- | ---- |
|加法|窄|窄|小|欠发达|
|减法|宽|宽|小|发达|
|乘法（同极化）|宽|宽|小|发达|
|乘法（异极化）|窄|宽|小|发达|
|乘法（分流）|宽|宽|小|发达|
|除法（同极化）|宽|宽|小|发达|
|除法（异极化，抑制/兴奋）|窄|窄|小|欠发达|
|除法（异极化，兴奋/抑制）|宽|窄|小|发达|
|除法（分流）|宽|宽|大|高度发达|

下面对各类运算的发达程度进行详细分析：
1. 减法 ：仅在异极化斑块中可观察到，在 $g_1$ 和 $g_2$ 维度上定义域范围宽，动态范围大，是异极化斑块中的重要原型运算，但相面积有限，并非高度发达。从相图可知，减法不仅适用于小输入电导，也适用于大输入电导，关键在于两个输入电导之间的相互关系。
2. 加法 ：是同极化斑块中的线性运算，在两个维度上定义域范围窄，属于欠发达运算。不过，当膜输入维持在低水平时，加法仍可作为一个合理的原型。
3. 乘法 ：在三种配置中均为发达运算。同极化和分流乘法在 $g_1$ 和 $g_2$ 维度上定义域范围宽，动态范围大；而异极化乘法仅在 $g_2$ 维度上定义域广泛，动态范围窄。因此，乘法在同极化和分流配置中更常见。
4. 除法 ：在三种配置中都能观察到。异极化的兴奋除抑制型除法定义域范围小，属于欠发达模式；抑制除兴奋型除法在抑制性电导的大范围内可观察到，是发达运算。同极化除法是发达模式，其相带与减法类似。在所有八种原型清洁运算中，分流除法是唯一高度发达的模式，其定义域范围宽，相面积大，动态范围与两个输入电导值无关。

（二）多模式算术单元

以往大多数模型可视为“单模式”模型，即单个模型神经元通常仅配备一种复合或清洁运算。相空间表示法为将单个神经元视为具有多种算术运算能力提供了视角。

引入了多模式单神经元算术的概念，对于给定的极化配置，发达和高度发达的算术运算对应系统可能处于的操作模式。若给定配置的相图中有多个发达或高度发达的运算，则该配置具有多模式算术运算能力。

对应三种极化配置，可定义三种类型的双输入多模式算术单元（AUs），每种 AU 都有一组内部算术模式，在每个模式下，AU 的操作可由一个清洁的原型运算描述。从计算角度看，可将这些 AUs 视为具有一组内部算术指令，指令的选择取决于 AU 当前所处的模式。若 AU 不在这些模式中，则其操作由一般有理函数描述。

以下是三种类型算术单元的 mermaid 流程图：

graph LR
    A[极化配置1] --> B[算术单元类型1]
    C[极化配置2] --> D[算术单元类型2]
    E[极化配置3] --> F[算术单元类型3]
    B --> G[内部算术模式1]
    B --> H[内部算术模式2]
    D --> I[内部算术模式3]
    D --> J[内部算术模式4]
    F --> K[内部算术模式5]
    F --> L[内部算术模式6]

（三）算术模式的触发与转换

在神经生理学实验中，清洁算术模式的触发现象较为常见。以灵长类视觉皮层简单细胞的归一化模型为例，该模型中简单细胞的响应始于线性阶段，进行输入的线性求和，随后进入归一化阶段，每个细胞的响应除以与其他皮层细胞池化活动成比例的量。若将公式中的组 $K$ 解释为来自 LGN 的输入，组 $L$ 解释为皮层池化活动，则可重新表述归一化模型。

这引出了一个普遍问题，即输入在何种条件下可触发特定算术模式。在 $n = 2$ 的情况下，只要 $(g_1, g_2)$ 对的值落入相平面的特定相内，就会执行相应的算术运算。在实际系统中，$g_1$ 和 $g_2$ 通常随时间变化，因此，触发特定算术模式的关键并非单个输入电导的大小，而是多个变化电导的时间模式。

根据相图，可区分以下两种情况：
1. 持续触发情况 ：同极化乘法和除法、异极化减法以及分流乘法的持续触发需要高度有序的 $(g_1, g_2)$ 活动模式。具体而言，同相的 $(g_1, g_2)$ 时间模式可有效触发同极化除法和异极化减法，反相的 $(g_1, g_2)$ 模式可触发乘法。

综上所述，多模式单神经元算术运算具有丰富的特性和广泛的应用前景。通过对模型特征度量、相空间、算术单元以及模式触发与转换的研究，我们能更深入地理解神经元的算术运算机制，为神经科学和相关领域的研究提供有力支持。