10、广义回归神经网络与集成组合技术详解

广义回归神经网络与集成组合技术详解

1. 核表达式基础

在相关研究中，归一化因子和西格玛权重被纳入核表达式，这是一种常用的做法。在这些表达式里，$x_{ij}$ 代表第 $i$ 个已知训练样本的第 $j$ 个特征向量分量。每个训练样本的特征集由一个已知的 $p$ 分量输入向量表示，而 $x_j$ 则是未知（或随机）潜在测试用例输入向量 $X$ 对应特征向量的第 $j$ 个分量。这种双/单索引约定贯穿整个研究，用于定义向量和标量的训练样本以及潜在随机测试用例。

在整个研究过程中，使用 $D_t(t, t_i)$ 符号来定义距离度量操作，其中 $t$ 是用于此示例的任意变量。由于该操作同时应用于向量和标量，因此采用了特定的下标约定来定义距离函数参数内的量。粗体下标表示对向量 $t$ 和 $t_i$ 的分量执行操作，而非粗体下标 $D_t$ 表示对标量 $t$ 和 $t_i$ 执行操作。同样，使用类似的下标约定来标记各种核（即使用 $k$ 并配以适当的下标来定义给定的核）。

给定的西格玛权重定义了围绕每个样本点的高斯窗函数的相应宽度，这些西格玛权重通过训练方法确定。不正确（非最优）的西格玛权重值可能会对实际性能结果产生深远影响。

2. 广义回归神经网络示例

推导集成组合机制的方法基于扩展 Parzen 窗口（核）方法。此前，不同学科也开发了类似的形式主义。类似的方法被用于估计回归（Nadaraya 1964；Watson 1964）、开发广义回归神经网络（GRNN，Specht 1991）和概率神经网络（PNN，Specht 1990）。

下面以 GRNN 开发为例，介绍统计估计方法。第 $k$ 个集成成员为任意输入向量