12、神经网络拓扑结构：高阶连接、模块化架构与图论视角

神经网络拓扑结构：高阶连接、模块化架构与图论视角

1. 高阶连接的形式化表示

高阶连接由于整合了多个源神经元的信息，需要更精细的表示方法。源神经元集合（{si}）需包含在表示中，高阶连接的权重可表示为特定形式。在某些网络中，这种表示可像一阶连接那样进行缩写。同时，对于其他网络参数，也推荐使用助记符号。

2. 连接矩阵

2.1 一阶神经网络连接矩阵

一阶神经网络的连接和权重可以用连接矩阵紧凑表示。这是一个二维数组，每个元素代表一个连接或其关联权重。全局连接矩阵能描述完整的网络拓扑，其两个轴分别列举所有神经元的索引。对称神经网络的连接矩阵是对称的，非对称神经网络则是非对称的。前馈神经网络可用无对角元素的三角矩阵表示。

例如，对于图中四层全层间连接的神经网络拓扑，其连接矩阵的垂直轴列出源神经元（由层号和该层神经元编号组成的元组），水平轴列出汇神经元（使用相同表示法），“0”符号标记拓扑中存在的连接。

2.2 分层网络连接矩阵

对于分层网络，神经元索引的顺序应反映层的顺序，从矩阵一端的输入层神经元开始，到另一端的输出神经元结束。矩阵可根据层边界划分为块。对角元素表示自连接，包含对角元素的对角块包含层内连接。层间连接位于与对角块水平或垂直相邻的块中，其他块表示超层连接。

2.3 高阶神经网络连接矩阵

高阶神经网络的连接矩阵维度为 R + 1，对应最大源神经元数量（Q）加一个汇神经元。连接的跨度可定义为连接的神经元所在层索引的差值。例如，层间连接跨度为 1，层内连接跨度为 0，超层连接跨度为 2 或更多。不同类型的超层连接可根据跨度区分。连接的跨度可通过全局