13、神经网络拓扑结构选择的理论考量

神经网络拓扑结构选择的理论考量

1. 引言

在选择神经网络拓扑结构时，有两个关键的理论标准：“稠密性”和“一致性”。稠密性指网络拓扑中存在能任意逼近输入 $x$ 和输出 $y$ 之间任何函数关系的网络；一致性则要求随着数据或训练样本数量的增加，所有可避免的误差都能消失，即选择的网络不会过拟合。其中，交叉验证（Cross - validation，CV）是最广泛使用的一致选择方法。

在使用神经网络估计输入变量 $x \in \mathbb{R}^k$ 和输出变量 $y \in \mathbb{R}^m$ 之间的未知关系时，需要回答以下几个问题：
1. 至少在理论上，哪些类别的关系是可以被表示的？
2. 这些潜在可表示的关系中，哪些部分是实际可实现的？
3. 如何实际学习（或估计）这个未知关系？
4. 当面对新的输入时，估计的关系表现如何？

2. 选择网络拓扑的标准

• 稠密性 ：如果网络拓扑结构能包含可以无限接近输入 $x$ 和输出 $y$ 之间任何函数关系的网络，则该拓扑结构具有稠密性。例如，单隐层前馈（SLFF）网络、多层前馈（MLFF）网络和径向基函数（RBF）网络都具有稠密性。
  • SLFF 网络 ：形式为 $f(x, \theta, J) = \beta_0 + \sum_{j = 1}^{J} \beta_j G(\gamma_j^T x + \gamma_{j,0})$，其中 $\gamma_j^T x$ 是 $k$ 维向量 $\gamma_j$ 和 $x$ 的内积，$\gamma_{j,0}