9、神经网络系统设计：回归问题与构建算法解析

神经网络系统设计：回归问题与构建算法解析

1. 回归问题概述

在处理回归问题时，通常有三种主要的方法。首先是流行的级联相关学习算法，它能生成具有多个隐藏层（每层一个隐藏节点）的深度架构，该算法快速高效，已在众多应用中得到使用。其次是节点创建和节点分裂算法，这类算法会向只有单个隐藏层的浅层网络添加节点。不过，在这两种情况下，隐藏节点会在整个输入空间添加决策边界，可能导致额外的隐藏节点无法显著提升性能。最后一种方法是在径向基函数（RBF）网络的背景下考虑构建方法，其中隐藏节点覆盖输入空间的局部区域。

2. 级联相关算法

2.1 算法原理

级联相关算法由 Fahlman 在 1989 年提出，除自适应 RBF 网络外，它仍是最受欢迎的构建技术。与级联相关之后的感知器级联类似，隐藏节点除了与输入层的节点相连，还与所有先前的隐藏节点相连。隐藏节点的功能是纠正输出处的残余误差。我们只关注隐藏节点值与输出处残余误差之间的相关性大小，因为若隐藏节点与残余误差正相关，我们可以在它和输出之间使用负权重；若相关性为负，则使用正权重。

下面是级联相关算法的具体步骤：
1. 初始时没有隐藏节点，架构如图 13 所示（为便于说明，选择了一个输出节点和两个输入）。然后进行梯度下降以最小化误差函数，如 $E = \frac{1}{2}\sum_{i}(y^{i}-O^{i})^{2}$，其中 $O^{i}$ 是网络的输出，$y^{i}$ 是预期目标。可以使用 Delta 规则进行权重更新 $\Delta W_{ij} = -\eta\frac{\partial E}{\partial W_{ij}}$，或者使用更快的替代方法，如 Quickprop。如果