27、深入理解神经网络：层、前向传播与训练机制

深入理解神经网络：层、前向传播与训练机制

1. 为何需要多层结构

在神经网络中，多层结构起着至关重要的作用。单个感知机存在局限性，无法解决一些复杂问题，例如异或（XOR）问题。虽然理论上，通过一个隐藏层的神经元可以对所有数学函数进行建模，从而解决所有可量化的问题，但这并不意味着单隐藏层是进行所有建模的最有效方式。

多层结构之所以更具优势，主要原因在于其引入了额外的非线性。每一层都有自己的非线性函数，如Sigmoid函数。通过适当的参数化，非线性函数能够对更复杂的函数进行建模。因此，模型中非线性函数数量的增加通常意味着更强的表达能力。

2. 线性层

在流行的神经网络架构中，使用了各种类型的层。这里我们先研究最简单、最基础的层——线性层，也称为全连接层。在线性层中，前一层的每个感知机都与下一层的每个感知机相连。如果前一层有 $m$ 个神经元，下一层有 $n$ 个神经元，那么将有 $mn$ 个连接，每个连接都有自己的权重。

连接第 $(l - 1)$ 层的第 $k$ 个神经元到第 $l$ 层的第 $j$ 个神经元的权重表示为 $w_{jk}^{(l)}$，下标顺序是先目标（$j$）后源（$k$），这种表示虽然有点违反直觉，但被广泛采用，因为它简化了矩阵表示。

需要注意的是，这里将单个感知机（加权求和后接Sigmoid函数）拆分为两个独立的层：加权求和层和Sigmoid层，并且使用Sigmoid函数而非Heaviside函数作为非线性函数。

3. 线性层的矩阵向量乘法表示

在多层感知机（MLP）的背景下，重新审视感知机。单个感知机对其输入进行加权求和，然后对结果执行阶跃函数。在ML