47、监督式模型与树基方法在神经网络中的应用

监督式模型与树基方法在神经网络中的应用

在神经网络的发展进程中，监督式模型和树基方法是非常重要的研究方向，它们为解决网络拓扑设计、训练效率等问题提供了多种有效途径。

监督式模型

监督式模型旨在通过近似求解来最小化均方误差。具体操作如下：
1. 神经元筛选 ：若最小均方误差与某一神经元均方误差的比值大于给定阈值，该神经元将从所在层移除。
2. 层的添加 ：逐层添加层，直至第 1 层中均方误差最小的神经元的均方误差大于第 1 - 1 层中最佳神经元的均方误差。
3. 无用神经元移除 ：若最后一层仍有多个神经元，仅保留最接近期望输出的神经元，并移除与最终输出神经元不在同一图中的无用神经元，即那些与最终输出神经元无直接或间接连接的神经元。

除了均方误差准则，Farlow（1984）和 Barron（1984）还提出了其他准则，这些准则构建的网络对噪声不那么敏感，且具有更好的泛化能力。Barron（1975）描述了一种基于广义麦克劳林级数、与数据处理分组方法（GMDH）非常相似的方法。Tenorio 和 Lee（1989）提出了结合模拟退火的 GMDH 方法变体。GMDH 方法在目标识别、图像分析、信号处理和经济预测等多个领域得到了广泛应用。

柯西机是一种与玻尔兹曼机相关的随机神经网络，它采用快速模拟退火而非经典模拟退火。这两种方法都能实现对误差函数最小值的全局搜索，但训练过程缓慢，且和其他多层神经网络一样，在选择隐藏神经元数量方面缺乏有效方法。若采用高阶连接，可减少训练周期并避免使用隐藏神经元，因此柯西机的高阶推广已被开发出来