45、神经网络中的投影寻踪与径向基函数网络详解

神经网络中的投影寻踪与径向基函数网络详解

1. 投影寻踪

投影寻踪是一种重要的数据分析方法，它主要考虑形如以下形式的函数：
- 基本函数形式 ：
- (\psi(x) = \sum_{j=1}^{k} \psi_j(b_j + a_j^T x))，其中 (b_j \in R)，(a_j \in R^d) 为常数，(\psi_1, \cdots, \psi_k) 为固定函数。这种形式与单隐层神经网络相关，但并非其特殊情况。
- 基于 Kolmogorov - Lorentz 表示定理，还可考虑 (\psi(x) = \sum_{j=1}^{d} \psi_j(x^{(j)}))，其中 (\psi_j) 为固定函数。在上述两种形式中，(\psi_j) 可依次用样条函数或其他非参数构造进行逼近，这种方法在广义加法模型的文献中有涉及。
- 函数族的稠密性 ：
- 函数族 (e^{a^T x})（(a \in R^d)）满足 Stone - Weierstrass 定理的条件，因此在 (C[a, b]^d) 上的 (L_{\infty}) 范数下是稠密的。由此可得，函数族 (\sum_{i=1}^{k} \psi_i(a_i^T x)) 也具有相同的稠密性。这一结果是投影寻踪方法逼近函数的基础，即尝试找到向量 (a_i) 和函数 (\psi_i) 来很好地逼近给定函数。
- 多项式的精确表示 ：
- 对于正整数 (m)，存在 (\binom{m + d - 1}{d - 1}) 个不同的向量 (a_j \in R^d)，使得任何 (m) 阶齐次多项