17、神经网络结构全解析：从基础连接到复杂模型

神经网络结构全解析：从基础连接到复杂模型

神经网络在机器学习领域扮演着至关重要的角色，结构良好且规模足够大的神经网络能够表示现实世界中我们感兴趣的任何函数。因此，人工神经网络（ANNs）代表了一类非常通用的机器学习非线性模型。接下来，我们将深入探讨神经网络的常见结构以及选择这些结构的原因。

1. 神经网络基础单元

神经元是构建所有神经网络的基本单位。从数学角度看，每个神经元代表一个变量，它指示网络中隐藏单元的状态或计算中的中间结果。在实际应用中，我们通常将多个神经元组合成一个更大的单元，即层，用于网络构建。如图8.8所示，一层可以包含任意数量的神经元。层内的神经元通常彼此不相连，但可能与其他层相连。从数学上讲，每层神经元在计算中代表一个向量。所有常见的神经网络结构都可以通过以特定方式组织不同的神经元层来构建。

2. 连接层的基本操作

连接神经网络中不同层的基本操作构成了任何复杂神经网络的基础构建块。以下是几种常见的操作：
- 全连接（Full connection）
全连接是连接两层的直接方式，第一层中每个神经元的输出通过加权链接和偏置连接到第二层的每个神经元。其计算可以用矩阵形式表示为：
[y = Wx + b]
其中 (W \in R^{n×d}) 和 (b \in R^{n}) 表示进行全连接所需的所有参数。将一层 (d) 个神经元完全连接到另一层 (n) 个神经元总共需要 (n × (d + 1)) 个参数，计算复杂度为 (O(n × d))。全连接层特别适合构建用于通用函数逼近的神经网络。在实践中，我们可以通过多次全连接操作级联多个较窄的层，而不是像多层感知机（MLP）