30、神经网络：模式识别视角下的关键技术与模型

神经网络：模式识别视角下的关键技术与模型

1. 反向传播算法的优势

反向传播算法不仅可应用于简单平方和之外的误差函数，还能用于评估其他量，如黑塞矩阵（其元素包含误差函数关于权重的二阶导数）。在权重调整的第二阶段，可采用多种优化方案，许多方案比简单的梯度下降法更有效。

反向传播的重要优势之一是计算效率高。评估误差函数导数所需的计算机操作数量与网络规模的关系如下：对给定输入模式，单次评估误差函数需要 $O(W)$ 次操作，其中 $W$ 是网络中权重的总数。要评估 $W$ 个权重的导数，若直接逐个评估，需要 $O(W^2)$ 次操作。而反向传播通过一次前向传播、一次反向传播以及使用特定公式（B6.3.29），就能评估所有导数。由于每次传播需要 $O(W)$ 步，总体计算成本从 $O(W^2)$ 降至 $O(W)$。即便结合高效优化算法，多层感知器网络的训练仍很耗时，因此这种效率提升至关重要。

反向传播计算效率对比

计算方式	操作次数
直接评估导数	$O(W^2)$
反向传播评估导数	$O(W)$

反向传播计算流程

graph LR
    A[输入数据] --> B[前向传播]
    B --> C