【机器学习】特征选择

转载自https://blog.youkuaiyun.com/u010700335/article/details/74488262

一、特征选择和降维

1、相同点和不同点

    特征选择和降维有着些许的相似点，这两者达到的效果是一样的，就是试图去减少特征数据集中的属性(或者称为特征)的数目；但是两者所采用的方式方法却不同：降维的方法主要是通过属性间的关系，如组合不同的属性得新的属性，这样就改变了原来的特征空间；而特征选择的方法是从原始特征数据集中选择出子集，是一种包含的关系，没有更改原始的特征空间。

2、降维的主要方法

• Principal Component Analysis(主成分分析)，详细见“简单易学的机器学习算法——主成分分析(PCA)”
• Singular Value Decomposition(奇异值分解)，详细见“简单易学的机器学习算法——SVD奇异值分解”
• Sammon's Mapping(Sammon映射)

二、特征选择的目标

• 提高预测的准确性
• 构造更快，消耗更低的预测模型
• 能够对模型有更好的理解和解释

 

三、特征选择的方法

1、Filter方法

    其主要思想是：对每一维的特征“打分”，即给每一维的特征赋予权重，这样的权重就代表着该维特征的重要性，然后依据权重排序。

    主要的方法有：

• Chi-squared test(卡方检验)
• information gain(信息增益)，详细可见“简单易学的机器学习算法——决策树之ID3算法”
• correlation coefficient scores(相关系数)

2、Wrapper方法

    其主要思想是：将子集的选择看作是一个搜索寻优问题，生成不同的组合，对组合进行评价，再与其他的组合进行比较。这样就将子集的选择看作是一个是一个优化问题，这里有很多的优化算法可以解决，尤其是一些启发式的优化算法，如GA，PSO，DE，ABC等，详见“优化算法——人工蜂群算法(ABC)”，“优化算法——粒子群算法(PSO)”

3、Embedded方法