29、特征选择、提取与聚类技术详解

特征选择、提取与聚类技术详解

1. 特征选择方法

1.1 反向特征选择

反向特征选择是一种逐步减少输入变量的特征选择方法。其具体操作步骤如下：
1. 利用所有输入变量训练支持向量机（SVM），设此时的间隔为 $\delta_0$。
2. 找到使 $\Delta(k)|w|^2$ 最小的第 $k$ 个输入变量并删除它。为加快删除过程，可根据特征排名删除多个变量。
3. 使用减少后的输入变量训练 SVM。若数据不可分离或 $(\delta_0 - \delta_c)/\delta_0 < \varepsilon$（其中 $\delta_c$ 是当前间隔，$0 < \varepsilon < 1$），则终止算法；否则，返回步骤 2。

该方法可通过训练来扩展用于前向选择，但计算变量添加的间隔变化较为耗时，且不训练时难以估计变化。

1.2 基于支持向量机的特征选择

这种方法在训练过程中进行特征选择，其思想是通过最小化分类误差和 $w$ 的非零分量数量来实现。问题可表述为：
$$
\begin{align }
&\text{minimize} \quad (1 - \lambda) \frac{1}{M} \sum_{i=1}^{M} \xi_i + \lambda \sum_{i=1}^{n} w_i^ \
&\text{subject to} \quad y_i (w^T x_i + b) \geq 1 - \xi_i, \quad i = 1, \ldots, M
\end{align }