7、神经网络中的误差分析、反向传播与过拟合问题

神经网络中的误差分析、反向传播与过拟合问题

1. 预测误差与权重的变化关系

在某些方程中，如 (Y = X^2Z + H)，计算 (Y) 关于 (X) 的偏导数相对直接，因为有明确的方程关联两者。然而，预测误差与权重之间并没有直接的方程。因此，我们将使用多元链式法则来求预测误差关于权重的偏导数。

1.1 预测误差到权重的链式关系

预测误差基于特定方程计算，但该方程中没有权重。不过，我们可以追溯计算过程，直至找到与权重相关的部分。预测输出基于 sigmoid 函数计算，而其中的变量 (s)（SOP）依赖于权重，其计算公式为：
[s = X_1 * W_1 + X_2 * W_2 + b]

为了了解预测误差随权重的变化情况，我们需要进行一些中间操作，涉及以下四个中间偏导数：
- (\frac{\partial E}{\partial Predicted})
- (\frac{\partial Predicted}{\partial s})
- (\frac{\partial s}{\partial W_1})
- (\frac{\partial s}{\partial W_2})

通过将这些偏导数相乘，我们可以得到预测误差关于每个权重的变化关系：
[\frac{\partial E}{\partial W_1} = \frac{\partial E}{\partial Predicted} * \frac{\partial Predicted}{\partial s} * \frac{\partial s}{\partial W_1}]
[\frac{\partial E