特征选择方法

特征选择的原因

机器学习经常遇到过拟合的问题，在训练集效果表现好，在测试集上效果不佳，要解决过拟合方法：

特征选择三大类方法

过滤法

原理：按照发散性和相关性对各个特征进行评分，设定阈值或者待选择特征进行筛选。

常用方法

1.单数值特征

• 方差过滤法
  删除方差为了0，因为数据之间无差异，对结果预测没有帮助。

2.、双数值特征之间

• Pearson相关系数
  皮尔逊相关系数是一种最简单的，能帮助理解特征和相应变量之间关系的方法，衡量变量之间的线性相关性，结果取值区间为[-1,1]。1,-1为正负相关，0为不相关。缺点，它只对线性关系敏感，两个变量之间具有相对应关系。（两个特征之间相关性高，保留与标签相关性最高一个）
  注：两个变量的变化是单调的

• 协方差与协方差矩阵
  如果协方差结果为正，说明变量之间同向变化，越大说明同向程度越高；协方差为负，说明反向程度越高；如果为0，说明变量之间不相关。
  注：Pearson是协方差的标准化计算方式，其消除了两个变量之间变化幅度的影响。

• 距离相关系数

• 一元回归及多元回归

类别特征之间

• 卡方检验
  使用sickit-learn中