12、工程师的统计学习方法：小波回归与筛估计

工程师的统计学习方法：小波回归与筛估计

1. 小波回归

小波回归的过程与傅里叶回归类似，它使用训练集 $(x_j, Y_j)$，其中 $j = 1, \cdots, N$。与傅里叶级数类似，平方可积函数 $m(x)$ 可以进行小波展开：
[m(x) = \sum_{\ell = -\infty}^{\infty} c_{\ell} \varphi_{\ell}(x) + \sum_{k = 0}^{\infty} \sum_{\ell = -\infty}^{\infty} d_{k\ell} \psi_{k\ell}(x)]
其中，$c_{\ell} = \langle m, \varphi_{\ell} \rangle$，$d_{k\ell} = \langle m, \psi_{k\ell} \rangle$。这些系数可以通过以下方式估计：
[\hat{c} {\ell} = \frac{1}{N} \sum {j = 1}^{N} Y_j \varphi_{\ell}(x_j)]
[\hat{d} {k\ell} = \frac{1}{N} \sum {j = 1}^{N} Y_j \psi_{k\ell}(x_j)]
为了减少计算量，这里使用了快速小波变换（FWT）。之后，我们可以应用硬阈值处理，例如设置：
[\hat{d}^ {k\ell} = \hat{d} {k\ell} \mathbb{1} {[\tau, \infty)}(\vert \hat{d} {k\ell} \vert)]
即只保留较大的系数。最终，$m(x)$ 的小波估计为