Anonymity_的博客

本文翻译自原文: http://blog.datadive.net/selecting-good-features-part-iii-random-forests/ 两类方法： 1.按impurity（基尼系数或者信息熵这类）来排序特征（Mean decrease impurity） from sklearn.datasets import load_boston from sklearn.ens...

特征选择的目标： 1.减少特征的数目来避免过拟合并提高模型的泛化能力 2.加深对特征与目标变量间的关系的理解 下面得到例子中，主要是对回归数据集，但是大多数的讨论和例子同样适用于分类数据集及方法。 在做回归前，为了减少特征，对于近似线性相关的模型，我们偏向用皮尔森相关系数，但还有MIC,distance correlation，添加高次项等方法。对于非线性的模型，我们偏向用基于树的方法（决策树，随...