22、统计学习中的平滑方法与局部估计

统计学习中的平滑方法与局部估计

1. 算法计算复杂度

在统计学习中，不同算法的计算复杂度有所不同。有一种算法可以在 $N$ 阶操作内计算 $\hat{m} k(X_j)$，其中 $j = 1, \ldots, N$。而对于核平滑器，例如 $\hat{m} {NW}(X_j, h)$（$j = 1, \ldots, N$），如果核函数 $K$ 具有紧支撑，其计算需要 $N^2h$ 阶的操作数量。

2. 样条平滑器

2.1 数值插值与样条插值

在数值插值中，我们从仅在有限个点（即所谓的节点 $x_1 < \ldots < x_N$）上观测到的某个未知平滑函数开始。若 $y_1, \ldots, y_N$ 是观测到的函数值，我们要寻找一个平滑的插值函数 $g(x)$，使其在节点处与观测值精确匹配，即 $y_j = g(x_j)$，$j = 1, \ldots, N$。样条插值是一种具有良好性质的流行插值方法，它通过简单的平滑样条函数来逼近相邻节点之间的未知函数。这里我们仅考虑三次样条函数 $g_s$，它在节点之间是三次多项式，需满足以下条件：
1. $y_j = g_s(x_j)$，$j = 1, \ldots, N$。
2. $g_s$ 对所有 $x$ 二次连续可微。
3. 对于 $x_j \leq x \leq x_{j + 1}$，$j = 1, \ldots, N - 1$，$g_s(x) = \sum_{k = 0}^{3} c_{jk}x^k$。

若在两个边界点 $x_1$ 和 $x_N$ 额外施加一些约束，解 $g_s$ 将是唯一的。三次样条平滑器在所有插值函数