30、前馈网络中的学习：从监督学习到反向传播的深入解析

前馈网络中的学习：从监督学习到反向传播的深入解析

在机器学习领域，前馈架构是使学习算法高效的关键要素。无论采用何种学习协议，由于图顶点的偏序关系，效率都能得到显著提升。下面将详细探讨前馈网络中的学习，包括监督学习和反向传播算法。

1. 监督学习

监督学习可转化为误差函数的优化问题。通常使用梯度下降启发式方法，这是进行优化的最简单数值方法。虽然也提到了高阶方法，但在大多数实际应用中，由于通常处理的是高维输入空间，这些方法的计算成本极高，因此可能用处不大。同时，也回顾了一些基本的数值技术。

2. 反向传播

反向传播可能是机器学习中最常用的术语，但它常被误解。它不仅仅是一种学习算法，更是一种高效的梯度计算算法，实际上是最优的。学习算法通常需要计算任何示例 $v$ 的损失梯度 $\nabla e$，其中 $e(w, v, y) = V (v, y, f (w, v))$。

为了理解这一点，需要认识到函数的导数可以通过数值或符号方式计算。例如，对于 $\sigma(a) = \frac{1}{1 + e^{-a}}$，符号推导可得：
$\sigma’(a) = \sigma(a)(1 - \sigma(a))$ (5.5.78)

也可以使用基于巧妙近似的数值方案，如：
$\sigma^{(1)}(a) = \frac{\sigma(a + h) - \sigma(a - h)}{2h} - \frac{h^2}{6} \sigma^{(3)}(\tilde{a})$ (5.5.79)
其中 $\tilde{a} \in (a - h, a + h)$。对于小的 $h$，有 $\sigma^{(1)