10、神经网络系统的构建与复杂度优化

神经网络系统的构建与复杂度优化

1. 建设性算法的性能与局限

在神经网络的研究中，建设性算法常能展现出良好的性能，至少在人工数据集上是如此。不过，节点创建和分裂算法在实际应用中的成效欠佳。这或许是因为在某些（并非全部）方法里，新的隐藏节点并非总能系统性地降低误差。而且，这些算法在现实数据集上的应用并不广泛，所以其可靠性未知。

近期的算法包含一些技术，例如迭代地根据输入和输出空间的维度来估算所需隐藏节点的数量，以及动态扩展和收缩网络以适配问题的算法。此外，在回归问题中也有人提出使用高阶权重的建设性算法。

2. 模块化架构的构建

2.1 引言

此前我们探讨的是向网络中逐个添加节点的建设性方法，现在我们来研究在训练过程中构建整个神经网络模块的技术，主要聚焦于神经决策树，其中的模块被构建为分类树中的决策元素。

2.2 神经决策树

决策树是解决模式分类问题的常用方法。决策树的每个分支节点都有一组子节点，每个子节点也都是一棵决策树，因此其结构具有递归性。信息从根节点输入，沿着树向下传播，直至到达终端或叶节点。叶节点不进行处理，仅为输入模式分配相应的类别标签。

决策树解决问题的核心思想是采用分治法，对输入空间进行连续分割。分割过程通常会生成一系列可能的分割方案，然后从中搜索出最优选择，直至每个叶节点对应一个特定的类别。不同的生成分割搜索空间和评估特定分割优劣的方式会产生不同类型的决策树算法。这种分类方法在许多应用中都取得了成功，并且具有将复杂规则分解为一系列简单局部分类规则的优点。

决策树可以很容易地与神经网络结合，因为神经网络模块可用于在树的分支节点上做出决策。