10、神经网络拓扑结构详解

神经网络拓扑结构详解

1. 基本拓扑概念

在神经网络中，存在一些通用术语来描述其结构，如集群（clusters）、板层（slabs）或组件（assemblies），层（layer）概念可看作是其中的一种特殊情况。

层或集群内的神经元通常是无序的，每个神经元都具有同等重要性。不过，为了方便在计算机模拟等场景下唯一地定位神经元，有时会对集群内的神经元进行编号。层本身没有固定形状，可以有多种表示方式。但输入层和输出层是例外，由于应用的限制，它们可能具有特定的形状，可以是一维、二维或更高维度。不过要注意，这种结构形状通常只在神经网络的图形表示中出现，因为各个神经元实际上仍然是同等重要的，并且它们在相对方向上并“意识”不到彼此的存在。但在特定应用的部分连接情况中，可能只有某些神经元相互连接，从而嵌入了位置信息。

神经网络的图形表示也没有固定方式。常见的有自下而上的绘制方式，即输入层在底部，输出层在顶部；也有从左到右的表示方式，尤其在光学神经网络中，因为光学图中光的传播方向默认是从左到右。此外，其他图形方向也是可行的，这种表示的灵活性在图论中也存在。

2. 互连结构

神经网络的互连结构决定了神经元之间的连接方式。基于分层结构，可以区分出以下几种不同类型的连接：
- 层间连接（Interlayer connection） ：连接相邻层中索引相差为 1 的神经元。
- 层内连接（Intralayer connection） ：同一层内神经元之间的连接。
- 自连接（Self - connection） ：神经元