11、广义单隐藏层前馈网络：原理与优势

广义单隐藏层前馈网络：原理与优势

1. 引言

在神经网络领域，单隐藏层前馈网络（SLFNs）在过去二十年里得到了深入研究。上世纪90年代，研究表明具有N个隐藏节点的SLFNs能够精确学习N个不同的观测值。例如，Tamura等人证明了使用Sigmoid函数的具有N个隐藏单元的SLFNs可以准确给出任意N个输入 - 目标关系。Huang的进一步改进揭示了，如果输入权重和隐藏偏置可调，使用任何有界非线性激活函数（在一个无穷远处有极限）且最多具有N个隐藏神经元的SLFNs可以零误差学习N个不同样本。

不过，以往的SLFNs存在一些局限性。之前的SLFNs无论是调整隐藏层的所有参数，还是采用增量式SLFNs（仅允许新添加的隐藏节点进行调整），计算负担都较重。并且，所有先前的工作都集中在使用恒定输出权重的SLFNs上，这种恒定输出权重会对近似和泛化能力造成很大的不足。

为了解决这些问题，我们提出了一种新型的广义单隐藏层前馈网络（GSLFNs），它通过使用输入的多项式函数而不是常数作为输出权重，对标准SLFNs进行了扩展。

2. 预备知识

2.1 标准单隐藏层前馈网络（SLFNs）的数学模型

给定N个任意不同的样本((x_k, t_k))，其中(x_k = [x_{k1}, x_{k2}, \cdots, x_{kn}]^T \in R^n)，(t_k = [t_{k1}, t_{k2}, \cdots, t_{km}]^T \in R^m)，具有L个隐藏节点和激活函数(g(x))的标准单隐藏层前馈网络（SLFNs）可以用数学模型表示为：
[y_k = \sum_{i = 1}^{L} \boldsymbol{\be