25、神经网络的函数逼近与精确学习

神经网络的函数逼近与精确学习

1. 通用逼近器相关性质

• 具有隐藏层为Sigmoid神经元、输出层为线性神经元的单隐藏层神经网络，能够学习任何可测函数。
• 经过一些繁琐修改后可知，即使激活函数是挤压函数，相关定理结论依然成立，这意味着经典感知机的单隐藏层神经网络可学习可测函数。
• 可测函数的逼近在神经网络学习随机变量时会被用到，此时测度μ是输入随机变量的分布测度。

2. 误差边界估计

对于目标函数 (f(x))，若其具有傅里叶表示形式 (f(x) = \int_{R^n} e^{i\omega^T x} \hat{f}(\omega) d\omega)，且 (\omega \hat{f}(\omega)) 可积，记 (C_f = \int_{R^n} |\omega|_1|\hat{f}(\omega)| d\omega)，该常数衡量了函数 (f) 的振荡程度。当 (C_f) 有限时，函数 (f) 连续可微。

近似函数 (G_k(x)) 对目标函数 (f(x)) 的逼近精度通过 (L^2(\mu, I^n)) 上的范数衡量：(|f - G_k| 2 = \int {I^n} |f(x) - G_k(x)|^2 d\mu(x))，这也被视为积分平方误差近似。

定理表明，给定任意Sigmoid激活函数、目标函数 (f)（(C_f < \infty)）和概率测度 (\mu)，对于任意数量的隐藏单元 (N \geq 1)，存在一个单隐藏层神经网络，其隐藏层神经元使用Sigmoid激活函数，输出层神经元使用线性激活函数，输出为 (G_k)，满足 (|