11、工程师的统计学习入门：从分类到回归的技术解析

工程师的统计学习入门：从分类到回归的技术解析

1. 分类与最优分离超平面

在处理两类数据时，我们可以使用超平面来进行分类。对于两类数据，类别指标通常为 +1 或 -1。对于具有参数 $\hat{b}$ 和 $\hat{b} 0$ 的最优分离超平面，新特征向量 $X {N + 1}$ 的分类规则具有简单的表示形式：
$\hat{Y} {N + 1} = \hat{c}(X {N + 1})$，其中 $\hat{c}(x) = \text{sgn}(\langle\hat{b}, x\rangle + \hat{b}_0)$。

以二维特征向量为例，当数据可由超平面（即直线）分离时，存在多个分离超平面。图 20 左侧展示了数据和三个不同的分离超平面，右侧则显示了最优分离超平面（红色）以及相应最大间隔的边界（黑色）。在 $N = 200$ 个特征向量中，只有三个是支持向量，它们位于间隔边界上，用较大的点标记。这些支持向量完全决定了 $\hat{b}$ 和 $\hat{b}_0$，进而决定了分类规则。

2. 筛估计：机器学习的通用方法

2.1 非参数回归模型

我们主要考虑非参数回归模型：$Y_j = m(X_j) + \varepsilon_j$，其中 $j = 1, \ldots, N$。数据 $(X_j, Y_j)$ 是独立同分布的，为简化起见，残差 $\varepsilon_1, \ldots, \varepsilon_N$ 也是独立同分布的，均值为 0，方差 $\sigma_{\varepsilon}^2 < \infty$，且与 $X_1, \ldots, X_N$ 独立。