【特征选择】过滤式特征选择法

# 过滤式特征选择法的原理

          使用发散性或相关性指标对各个特征进行评分，选择分数大于阈值的特征或者选择前K个分数最大的特征。具体来说，计算每个特征的发散性，移除发散性小于阈值的特征/选择前k个分数最大的特征；计算每个特征与标签的相关性，移除相关性小于阈值的特征/选择前k个分数最大的特征。

# 过滤式特征选择法的特点

          特征选择过程与学习器无关，相当于先对初始特征进行过滤，再用过滤后的特征训练学习器。过滤式特征选择法简单、易于运行、易于理解，通常对于理解数据有较好的效果，但对特征优化、提高模型泛化能力来说效果一般。

# 常用的过滤式特征选择法

• 方差选择法（发散性）

             使用方差作为特征评分标准，如果某个特征的取值差异不大，通常认为该特征对区分样本的贡献度不大，因此在构造特征过程中去掉方差小于阈值的特征。注意：方差选择法适用于离散型特征，连续型特征需要须离散化后使用；方差较小的特征很少，方差选择法简单但不好用，一般作为特征选择的预处理步骤，先去掉方差较小的特征，然后使用其他特征选择方法选择特征。