36、模拟V1平台：时空滤波网络的原理与实现

模拟V1平台：时空滤波网络的原理与实现

1. 模拟V1平台基础

在模拟V1平台中，(微分)方程中的每一项都与传递函数中的一项以及一个物理网络连接相对应，这有助于直接从网络拓扑结构解读滤波功能。一般的时空传递函数（代表无额外时间导数扩散的线性CNN）如下：
[
\frac{S(z_x,z_y,p_t)}{E(z_x,z_y,p_t)} = \frac{\sum_{\vec{\xi} \in B_{2r}} b_0(\vec{\xi})z_x^{\xi_x}z_y^{\xi_y}}{\sum_{\vec{\xi} \in B_{2r}} a_0(\vec{\xi})z_x^{\xi_x}z_y^{\xi_y} + c p_t}
]
对比不同的传递函数可知，线性CNN的额外时间导数扩散连接能够实现更丰富的时空特性。

2. 稳定性分析

任意稳定的有理时空传递函数，无论是在Z域还是拉普拉斯域，都可以通过对空间或时间变量应用适当的双线性变换（或其逆变换）转换为特定形式。CNN的一般支持性质使得其稳定性准则较为宽松，相比纯因果或纯反因果系统，极点位置有更大的自由度。对于系统稳定性，要求所有极点落在以下空间之外：
[
|z_x| = 1 \cap |z_y| = 1 \cap Re{p_t} \geq 0
]
即稳定时，在双单位圆和拉普拉斯右半平面上没有极点。

3. 基于信号流图的实现

模拟VLSI系统特别适合实现时空滤波网络，线性信号处理操作常以连续时间积分器为基本构建块。下面详细介绍基于信号流图操作的实现方法。

3.1 连续时间信号流图

考虑描述网络动态的微分方程，设传递函数分母和分子中时间拉普拉斯多项式的阶数分别为L和D，且合理假设L ≥ D。对微分方程进行拉普拉斯变换可得：
[
p_tS(\vec{k},p_t) = -\frac{1}{RC}S(\vec{k},p_t) + \frac{1}{c} \sum_{\vec{\xi} \in B_{2r}} a_0(\vec{\xi})S(\vec{k} + \vec{\xi},p_t) + \frac{1}{c} \sum_{\vec{\xi} \in B_{2r}} b_0(\vec{\xi})E(\vec{k} + \vec{\xi},p_t) + \sum_{l \in 1…L} \sum_{\vec{\xi} \in B_{2r}} a_l(\vec{\xi})p_t^lS(\vec{k} + \vec{\xi},p_t) + \sum_{l \in 1…D} \sum_{\vec{\xi} \in B_{2r}} b_l(\vec{\xi})p_t^lE(\vec{k} + \vec{\xi},p_t)
]
设A = a_L(0,0) ≠ 0，进一步推导得到：
[
p_tS(\vec{k},p_t) = -\frac{1}{RC}S(\vec{k},p_t) + \frac{1}{c} \sum_{\vec{\xi} \in B_{2r}} a_0(\vec{\xi})S(\vec{k} + \vec{\xi},p_t) + \frac{1}{c} \sum_{\vec{\xi} \in B_{2r}} b_0(\vec{\xi})E(\vec{k} + \vec{\xi},p_t) + A p_t^L S(\vec{k},p_t) + \sum_{\vec{\xi} \neq (0,0) \in B_{2r}} a_L(\vec{\xi})p_t^L S(\vec{k} + \vec{\xi},p_t) + \sum_{l \in 1…L - 1} \sum_{\vec{\xi} \in B_{2r}} a_l(\vec{\xi})p_t^lS(\vec{k} + \vec{\xi},p_t) + \sum_{l \in 1…D} \sum_{\vec{\xi} \in B_{2r}} b_l(\vec{\xi})p_t^lE(\vec{k} + \vec{\xi},p_t)
]
将上述方程除以A p_t^L并重新排列，可得到拉普拉斯域的积分方程：
[
S(\vec{k},p_t) = \frac{1}{RcA p_t^L} S(\vec{k},p_t) - \frac{1}{c} \sum_{\vec{\xi} \in B_{2r}} \frac{a_0(\vec{\xi})S(\vec{k} + \vec{\xi},p_t)}{A p_t^L} + \frac{1}{c} \sum_{\vec{\xi} \in B_{2r}} \frac{b_0(\vec{\xi})E(\vec{k} + \vec{\xi},p_t)}{A p_t^L} + \frac{1}{A p_t^{L - 1}} S(\vec{k},p_t) - \sum_{l \in 1…L - 1} \sum_{\vec{\xi} \in B_{2r}} \frac{a_l(\vec{\xi})S(\vec{k} + \vec{\xi},p_t)}{A p_t^{L - l}} - \sum_{l \in 1…D} \sum_{\vec{\xi} \in B_{2r}} \frac{b_l(\vec{\xi})E(\vec{k} + \vec{\xi},p_t)}{A p_t^{L - l}} - \sum_{\vec{\xi} \in B_{2r}, \neq \vec{0}} \frac{a_L(\vec{\xi})S(\vec{k} + \vec{\xi},p_t)}{A}
]
为清晰表示，引入新的符号，上述方程可简化为：
[
S(\vec{k},p_t) = \frac{1}{RcA p_t^L} S^L_{\vec{k}} - \frac{1}{c} \sum_{\vec{\xi} \in B_{2r}} \frac{a_0(\vec{\xi})S^L_{\vec{k} + \vec{\xi}}}{A p_t^L} - \frac{1}{c} \sum_{\vec{\xi} \in B_{2r}} \frac{b_0(\vec{\xi})E^L_{\vec{k} + \vec{\xi}}}{A p_t^L} + \frac{1}{A p_t^{L - 1}} S^{L - 1} {\vec{k}} - \sum {l \in 1…L - 1} \sum_{\vec{\xi} \in B_{2r}} \frac{a_l(\vec{\xi})S^{L - l} {\vec{k} + \vec{\xi}}}{A p_t^{L - l}} - \sum {l \in 1…D} \sum_{\vec{\xi} \in B_{2r}} \frac{b_l(\vec{\xi})E^{L - l} {\vec{k} + \vec{\xi}}}{A p_t^{L - l}} - \sum {\vec{\xi} \in B_{2r}, \neq \vec{0}} \frac{a_L(\vec{\xi})S_{\vec{k} + \vec{\xi}}}{A}
]
根据此方程可以仅基于积分器构建信号流图，该信号流图是空间耦合的。同时，通过为积分器的输出分配状态变量，可以得到状态空间表示。

下面用mermaid流程图展示信号流图构建的大致流程：

graph LR
    A[微分方程] --> B[拉普拉斯变换]
    B --> C[设定A值并推导]
    C --> D[得到积分方程]
    D --> E[构建信号流图]

3.2 与多层CNN的关系

多层CNN（MLCNNs）在早期CNN文献中被提出，定义为状态空间形式。考虑一个两层线性化MLCNN，假设单输入层u2（u1 = 0），以x2 = y为输出，通过拉普拉斯和Z变换并消除x1，可得到时空傅里叶变换（STTF）：
[
\frac{Y}{U_2} = \frac{[A_{21}B_{11} + B_{22}(R_1^{-1} - A_{11})] + B_{22}c_1 p_t}{c_1 c_2 p_t^2 + [c_2(R_1^{-1} - A_{11}) + c_1(R_2^{-1} - A_{22})]p_t + (R_2^{-1} - A_{22})(R_1^{-1} - A_{11})}
]
该STTF表明MLCNN适合具有高阶（≥1）时间动态的时空滤波任务，但与二阶时间导数扩散网络相比，其可实现的STTF形式存在一定限制，具体如下表所示：
| 限制类型 | 具体内容 |
| ---- | ---- |
| 分母非pt多项式 | 需表示为可因式分解的多项式，若A11或A22为常数，相关项形式受限 |
| p2t系数 | 分母中p2t的系数被限制为常数，而非双变量多项式 |
| 分子阶数 | 分子阶数受限，一般M层MLCNN的STTF分子阶数为(M - 1)阶，pM t系数为常数 |

4. 时空锥滤波器示例

下面通过一个具体例子展示如何设计一个具有锥形通/阻带边界的高通三维时空滤波器。

4.1 设计思路

从二维空间滤波器开始，将其系数转换为与时间频率相关的项，从而创建与时间频率相关的空间滤波器。理想的锥滤波器响应如图所示，其通带和阻带由两个顶点相对的锥体分隔。

考虑一个二维CNN滤波器，其二维Z域传递函数为：
[
H_L(z_x,z_y) = \frac{1}{1 + 4a_c - a_c(z_x^{+1} + z_x^{-1} + z_y^{+1} + z_y^{-1})}
]
频率响应为：
[
H_L(z_x,z_y) = \frac{1}{1 + 2a_c(1 - \cos\omega_x) + 2a_c(1 - \cos\omega_y)}
]
当参数ac变化时，其幅度响应有两个特点：一是通带边界近似圆形；二是通带边界的“半径”随ac增大而减小。为了实现锥滤波器，将ac表示为Ωt的函数，使得|Ωt|增大时ac减小，从而增大空间滤波器通带边界的半径。合理的选择是：
[
a_c = \frac{a_c’}{p_t} = \frac{a_c’}{j\Omega_t}
]
代入并整理可得：
[
H_L’(z_x,z_y) = \frac{p_t}{p_t + 4a_c’ - a_c’(z_x^{+1} + z_x^{-1} + z_y^{+1} + z_y^{-1})}
]
为确保滤波器稳定性，在分母中引入额外常数项τc：
[
H_L’(z_x,z_y) = \frac{p_t}{p_t + 4a_c’ - a_c’(z_x^{+1} + z_x^{-1} + z_y^{+1} + z_y^{-1}) + \tau_c}
]

4.2 实现步骤

• 选择二维空间滤波器 ：确定初始的二维CNN滤波器。
• 系数转换 ：将滤波器系数转换为与时间频率相关的项。
• 稳定性处理 ：引入额外常数项确保滤波器稳定。
• 构建网络和信号流图 ：根据传递函数构建相应的网络和信号流图。

模拟结果表明，该方法能够实现近似的锥滤波器响应。通过对不同空间和时间频率的时空正弦信号进行仿真，验证了滤波器的性能。例如，当空间频率固定，改变输入的时间频率时，输出的时空正弦波幅度变化符合锥滤波器的特性。当在30×30网络的特定单元施加脉冲时，输出信号近似锥滤波器的脉冲响应。

综上所述，通过引入适当的时间导数连接和利用与时间频率相关的空间滤波器概念，可以为空间滤波器定制所需的时间特性，从而实现锥滤波器近似。这种基于时间导数扩散的网络提供了一种更简单的方法，每个输入时间导数模板元素对应一个单一的分子项。

模拟V1平台：时空滤波网络的原理与实现

5. 递归视觉皮层神经交互示例

除了时空锥滤波器，还可以通过对递归视觉皮层神经交互进行分析建模，实现另一种时空传递函数。这表明时间导数增强的CNN（TDCNN）可用于近似描述简单细胞神经元经典动态感受野的时空特征的STTF。

5.1 建模过程

通过对递归视觉皮层神经交互进行理论分析，建立相应的数学模型。在模型中考虑神经元之间的相互作用、信号传递等因素，推导出时空传递函数。这个过程涉及到对生物神经系统的深入理解和数学建模技巧的运用。

5.2 实现效果

将推导得到的时空传递函数应用到TDCNN中，可以模拟简单细胞神经元的时空特性。这意味着TDCNN能够在一定程度上近似生物神经系统的功能，为研究生物视觉系统提供了一种有效的工具。通过实验验证，TDCNN可以较好地捕捉到简单细胞神经元的空间和时间特征，如对不同方向、频率的视觉刺激的响应。

下面用表格对比时空锥滤波器和递归视觉皮层神经交互示例的特点：
| 示例类型 | 设计起点 | 实现方式 | 应用场景 |
| ---- | ---- | ---- | ---- |
| 时空锥滤波器 | 二维空间滤波器 | 系数转换为时间频率相关项，引入稳定性常数 | 高通三维时空滤波 |
| 递归视觉皮层神经交互 | 递归视觉皮层神经交互分析 | 数学建模推导时空传递函数 | 模拟简单细胞神经元时空特性 |

6. 总结与展望

通过以上两个示例可以看出，具有额外时间导数扩散连接的CNN在时空滤波领域具有强大的应用潜力。它不仅可以实现复杂的时空滤波器设计，还能模拟生物神经系统的时空特性。

6.1 优势总结

• 丰富的时空特性 ：额外的时间导数扩散连接使得CNN能够实现更丰富的时空特性，相比传统的CNN具有更强的功能。
• 设计灵活性 ：可以通过不同的设计方法，如系数转换、数学建模等，实现各种不同的时空传递函数，满足不同的应用需求。
• 模拟生物系统 ：能够近似生物神经系统的时空特征，为研究生物视觉系统提供了新的途径。

6.2 未来展望

未来可以进一步探索CNN在时空滤波领域的应用，例如：
- 更复杂的滤波器设计 ：设计具有更复杂通/阻带特性的滤波器，满足更高精度的滤波需求。
- 生物系统模拟的深化 ：更深入地模拟生物神经系统的功能，为神经科学研究提供更多的支持。
- 与其他技术的结合 ：将CNN与其他技术，如深度学习、人工智能等相结合，拓展其应用范围。

下面用mermaid流程图展示未来研究的大致方向：

graph LR
    A[CNN时空滤波研究] --> B[更复杂滤波器设计]
    A --> C[生物系统模拟深化]
    A --> D[与其他技术结合]

7. 结论

具有额外时间导数扩散连接的CNN为时空滤波提供了一种强大而灵活的解决方案。通过理论分析、数学建模和实验验证，我们展示了其在设计复杂时空滤波器和模拟生物神经系统方面的能力。未来的研究有望进一步挖掘其潜力，为相关领域的发展带来新的突破。无论是在信号处理、图像处理还是生物医学研究等领域，这种CNN都具有广阔的应用前景。我们期待在未来的研究中，能够看到更多基于此技术的创新应用和成果。