11、神经网络拓扑结构详解

神经网络拓扑结构详解

1. 部分连接拓扑结构

1.1 部分连接拓扑的优势与挑战

大多数神经网络拓扑是全连接的，但这种选择往往是基于简单性的随意决定。部分连接拓扑提供了一种有趣的替代方案，它减少了冗余度，因此有可能提高效率。在一阶网络中，全连接神经网络的连接数量与神经元数量呈二次关系；在高阶网络中则呈指数关系。过多的连接在很多情况下是不必要的，会给网络的训练和使用带来严重的开销。然而，部分连接也带来了一个难题，即如何选择要使用的连接和不使用的连接。

1.2 连接性指标

为了研究部分连接拓扑，需要一些基本的连接性指标，这些指标也适用于全连接拓扑。
- 神经元的度 ：一个神经元的度等于与其相连的连接数量。它可以细分为入度（$d_{in}$ 或扇入）和出度（$d_{out}$ 或扇出）。入度是能为该神经元提供信息的连接数量，出度是能从该神经元接收信息的连接数量。对于神经元 $n$，其度 $d_n$ 满足 $d_n = d_{in} + d_{out}$。
- 连接密度 ：拓扑的连接密度定义为网络中实际连接数量 $W$ 与该互连方案下可能的总连接数量 $W_{max}$ 的比值。
- 连接水平 ：连接水平提供了网络中连接数量与神经元数量的比率，即 $W/N$。

1.3 部分连接神经网络的分类

选择合适的部分连接拓扑并非易事，尤其是在不考虑应用的情况下。大多数构建部分连接网络的方法都假设了一些约束条件，以辅助拓扑选择。这些方法可以分类如下：
| 方法类型 | 描述 |