17、前馈神经网络的数学原理与实践

前馈神经网络的数学原理与实践

1. 前馈神经网络基础

前馈神经网络是一种信息从输入流向输出的网络。以常见的网络结构为例，有 3 层网络（包含 4 个输入的输入层、4 个神经元的隐藏层和 1 个神经元的输出层）和 4 层网络（有 2 个各含 4 个神经元的隐藏层）。

在表示网络的各部分时，采用如下符号规则：
- 层 ：用上标 ℓ 表示层号，输入层 ℓ = 0，第一个隐藏层 ℓ = 1，输出层 ℓ = L，隐藏层数量为 L - 1。第 ℓ 层的神经元数量记为 d(ℓ)，d(0) 是输入数量，d(L) 是输出数量。
- 权重 ：权重系统记为 (w_{ij}^{(\ell)})，其中 1 ≤ ℓ ≤ L，0 ≤ i ≤ d(ℓ - 1)，1 ≤ j ≤ d(ℓ)。该权重对应连接第 ℓ - 1 层第 i 个神经元和第 ℓ 层第 j 个神经元的边。权重 (w_{0j}^{(\ell)} = b_{j}^{(\ell)}) 被视为偏置，对应虚拟输入 (x_{0}^{(\ell)} = -1)。不包含偏置时，第 ℓ - 1 层和第 ℓ 层之间的权重数量为 d(ℓ - 1)d(ℓ)，前馈网络的总权重数量为 (\sum_{\ell = 1}^{L} d(\ell - 1)d(\ell))。例如，上述 3 层网络有 4×4 + 4×1 = 20 个权重，4 层网络有 4×4 + 4×4 + 4×1 = 36 个权重。权重可为正、负或零，正权重促使神经元激活，负权重抑制其激活。
- 输入和输出 ：网络输入记为 (x_{j}^{(0)})，1 ≤ j ≤ d(0)；第 ℓ 层第 j