16、分类的自动特征设计

分类的自动特征设计

1. 理想分类场景

1.1 指示函数的正式定义

指示函数是一种简单工具，用于识别集合 $S$ 中的点 $x$。通过为集合 $S$ 中的点赋予唯一常数值，为不在集合 $S$ 中的点赋予不同常数值来实现。通常用 $+1$ 表示点在集合 $S$ 中，$-1$ 表示点不在集合 $S$ 中，指示函数可定义为：
[
y(x) =
\begin{cases}
+1, & \text{如果 } x \in S \
-1, & \text{如果 } x \notin S
\end{cases}
]
例如，图 6.2 顶栏绘制的一维函数是区间 $S = [0.33, 0.67]$ 上的指示函数；图 6.1 所示的二维函数是集合 $S = {x | 0 \leq |x|_2^2 \leq 0.5}$ 上的指示函数；一般的阶跃函数是集合 $S = {x | b + x^T w > 0}$ 上的指示函数，形式为：
[
y(x) = \text{sign}(b + x^T w) =
\begin{cases}
+1, & \text{如果 } b + x^T w > 0 \
-1, & \text{如果 } b + x^T w < 0
\end{cases}
]

1.2 指示函数的近似

由于指示函数 $y(x)$ 取值为 $\pm1$，可以通过符号函数对基函数求和进行近似：
[
\text{sign}\left(\sum_{m = 0}^{M}