11、特征选择：从基础到高级方法

特征选择：从基础到高级方法

在机器学习中，特征选择是一个至关重要的步骤，它可以帮助我们挑选出最具影响力的特征，从而提升模型的性能和效率。本文将深入探讨多种特征选择方法，包括过滤法、包装法和穷举法，并详细介绍它们的操作步骤和应用场景。

1. 互信息特征选择

为了每次都能得到相同的结果，我们可以向 score_func 传递一个偏函数。以下是使用互信息进行特征选择的示例代码：

from functools import partial
SelectKBest(score_func=partial(mutual_info_classif, random_state=0), k=5) 

接着，我们可以使用 get_support 创建的 selcols 数组来创建一个仅包含重要特征的 DataFrame：

X_train_analysis = X_train_enc[selcols] 
X_train_analysis.dtypes

输出结果如下：

satverbal       float64
satmath         float64
gpascience      float64
gpaenglish      float64
gpaoverall      float64
dtype: object