2、线性支持向量机的变量选择

线性支持向量机的变量选择

1. 引言

在标准的两类分类问题中，我们会得到一组训练数据 $(x_1, y_1), (x_2, y_2), \cdots (x_n, y_n)$，其中输入（预测变量）$x_i \in R^p$ 是一个 $p$ 维向量，输出（响应变量）$y_i \in {1, -1}$ 是一个二元分类变量。目标是从训练数据中找到一个分类规则，以便在给定新输入 $x$ 时，能为其分配类别标签（1 或 -1）。

支持向量机（SVM）在机器学习领域一直是解决两类分类问题的常用工具，近年来也受到了统计学界的关注。下面从两个角度简要回顾 SVM：
- 几何视角 ：
- 线性可分情况 ：当训练数据能被 $R^p$ 中的超平面完全分离时，定义超平面为 ${x : f(x) = \beta_0 + x^T \beta = 0}$，其中 $\beta$ 是单位向量（$|\beta| 2 = 1$），$f(x)$ 表示点 $x$ 到超平面的有符号距离。由于训练数据线性可分，能找到满足 $y_if(x_i) > 0$（$\forall i$）的超平面，且 SVM 会寻找使间隔（训练数据到超平面的最小距离）最大的超平面，问题可表示为：
$\max {\beta,\beta_0,|\beta| 2=1} C$，
约束条件为 $y_i(\beta_0 + x_i^T \beta) \geq C$，$i = 1, \cdots, n$，其中 $C$ 是间隔。
- 线性不可分情况 ：当训练数据线性不可分时，允许部分训练数据位于间隔