16、特征子集选择与包装器方法详解

特征子集选择与包装器方法详解

1. 特征子集选择基础

特征子集选择在数据分析和机器学习中至关重要。设$s$为选定特征的数量，$r(X_i,C)$表示特征$X_i$与类别变量$C$之间的相关性，$r(X_i,X_j)$则是特征$X_i$和$X_j$之间的相关性。这里的相关性由对称不确定性系数定义。

由于对所有可能的特征子集进行穷举枚举在特征数量$n$适中时就已难以实现，Hall在1999年采用了三种启发式搜索策略来寻找最佳子集，分别是前向选择、后向消除和最佳优先搜索。此外，禁忌搜索、可变邻域搜索、遗传算法和分布估计算法等元启发式方法也被应用于相关性特征选择（CFS）。

Fleuret在2004年针对二进制数据提出了基于条件互信息的特征排序准则。其核心思想是，只有当对于每个已选定的特征$X_j$，$I(X_i,C|X_j)$都很大时，特征$X_i$才是一个好的特征。在每一步中，将满足$X^ = \arg \max_{X_i \notin S_c} \left{ \min_{X_j \in S_c} I(X_i,C|X_j) \right}$的特征$X^ $添加到当前包含选定特征的子集$S_c$中。

在实际应用方面，DeFelipe等人在2013年使用单变量过滤（增益比度量）和多变量过滤（CFS）对皮质GABA能中间神经元进行分类。他们基于241个神经元的3D重建得到的2886个形态变量，将这两种过滤方法应用于k近邻、分类树、支持向量机、人工神经网络、朴素贝叶斯和元分类器。Morales等人在2013年将单变量和多变量过滤特征选择方法应用于MRI数据，并结合贝叶斯分类器和支持向量机来预测帕金森病（PD）患者的痴呆情况。

2