24、广义线性判别与复杂度正则化分类方法

广义线性判别与复杂度正则化分类方法

1. 傅里叶级数分类

傅里叶级数分类是一种基于函数的傅里叶表示进行分类的方法。假设 $X$ 的密度函数 $f$ 属于 $L^2(\lambda)$，即满足 $f \geq 0$，$\int f(x)dx = 1$ 且 $\int f^2(x)dx < \infty$。设 ${\psi_1, \psi_2, \cdots}$ 是 $L^2(\lambda)$ 中的一组有界函数构成的完备正交基，且 $\sup_{i,x} |\psi_i(x)| \leq B < \infty$。

定义函数 $a(x) = p f_1(x) - (1 - p) f_0(x) = (2 \eta(x) - 1) f(x)$，其中 $f_0$ 和 $f_1$ 是类条件密度。贝叶斯决策规则为：
[
g^*(x) =
\begin{cases}
0, & \text{如果 } a(x) \leq 0 \
1, & \text{否则}
\end{cases}
]

$a(x)$ 的傅里叶表示为：
[
a = \sum_{j = 1}^{\infty} a_j \psi_j
]

我们通过截断傅里叶表示到有限项来近似 $a(x)$，并使用数据 $D_n$ 估计系数 $a_j$。分类规则如下：
[
g_n(x) =
\begin{cases}
0, & \text{如果 } \sum_{j = 1}^{k_n} \hat{a}_{n,j} \psi_j(x) \leq 0 \
1,