6、神经网络中的反向传播算法及应用

神经网络中的反向传播算法及应用

1. 引言

神经网络能够根据固定的权重将输入映射到确定的输出。在确定神经网络的架构（如前馈、隐藏层数量、每层神经元数量）以及每个神经元的激活函数后，需要设置权重来定义网络中每个神经元的内部状态。本文将先探讨单层网络的权重设置方法，再扩展到深度前馈网络，其中深度神经网络设置权重的算法被称为反向传播算法，它是多层前馈神经网络的重要主题。

2. 误差最小化的基本概念

每个神经网络都是对某个函数的近似，因此它与期望函数之间会存在一定的误差，目标是将这个误差最小化。由于误差是神经网络中权重的函数，所以要相对于权重来最小化误差。误差函数是多个权重的函数，即多变量函数。从数学角度看，该函数值为零的点集构成一个超曲面，为了在这个曲面上找到最小值，需要选择一个点，然后沿着指向最小值的曲线移动。

3. 线性回归

• 符号表示 ：为了简化处理多变量的情况，引入矩阵表示法。设输入为向量 $x$，在线性回归中，考虑单个输出神经元 $y$，权重集 $w$ 是与 $x$ 维度相同的向量，激活值定义为内积 $\langle x, w\rangle$。
• 误差计算 ：对于每个输入值 $x$，期望输出目标值 $t$，而神经网络根据所选激活函数输出值 $y$，$|y - t|$ 表示特定输入示例 $x$ 的预测值与实际值之间的差异。若有 $m$ 个输入值 $x_i$，每个都有目标值 $t_i$，则使用均方误差 $\sum_{i}(y_i - t_i)^2$ 计算误差，其中每个 $y_i$ 是 $w$ 的函数，误差通常用 $J(w)$