mlxtend库中的ExhaustiveFeatureSelector：穷举特征选择方法详解-优快云博客

mlxtend库中的ExhaustiveFeatureSelector：穷举特征选择方法详解

mlxtend rasbt/mlxtend: 是一个用于 Python 数据科学与机器学习的库，提供了许多实用的工具和函数，以简化和加速数据科学的工作流程。适合对 Python 数据科学与机器学习有兴趣的人，特别是想快速实现一些常用机器学习算法和数据处理功能的人。项目地址: https://gitcode.com/gh_mirrors/ml/mlxtend

什么是穷举特征选择？

穷举特征选择(Exhaustive Feature Selection)是一种通过评估所有可能的特征组合来寻找最优特征子集的算法。它属于包装式特征选择方法，通过优化指定的性能指标来选择最佳特征组合。

算法原理

穷举特征选择的工作原理非常简单但计算量较大：

给定特征数量范围（最小特征数和最大特征数）
生成所有可能的特征组合
对每个特征组合训练模型并评估性能
选择性能最佳的特征子集

例如，对于一个包含4个特征的数据集，当设置min_features=1和max_features=4时，算法会评估所有15种可能的特征组合（从单个特征到全部4个特征的所有组合）。

实际应用示例

示例1：鸢尾花数据集分类

我们以经典的鸢尾花数据集为例，演示如何使用mlxtend库中的ExhaustiveFeatureSelector：

from sklearn.neighbors import KNeighborsClassifier
from sklearn.datasets import load_iris
from mlxtend.feature_selection import ExhaustiveFeatureSelector as EFS

# 加载数据
iris = load_iris()
X = iris.data
y = iris.target

# 初始化分类器
knn = KNeighborsClassifier(n_neighbors=3)

# 创建穷举特征选择器
efs = EFS(knn, 
          min_features=1,
          max_features=4,
          scoring='accuracy',
          print_progress=True,
          cv=5)

# 执行特征选择
efs = efs.fit(X, y)

# 输出结果
print('最佳准确率: %.2f' % efs.best_score_)
print('最佳特征索引:', efs.best_idx_)
print('最佳特征名称:', efs.best_feature_names_)

使用特征名称

当处理具有特征名称的数据时，使用pandas DataFrame会更加直观：

import pandas as pd

# 创建带有列名的DataFrame
df_X = pd.DataFrame(X, columns=["花萼长度", "花萼宽度", "花瓣长度", "花瓣宽度"])

# 执行特征选择
efs = efs.fit(df_X, y)

# 输出结果（此时会显示特征名称而非索引）
print('最佳准确率: %.2f' % efs.best_score_)
print('最佳特征索引:', efs.best_idx_)
print('最佳特征名称:', efs.best_feature_names_)

查看详细结果

通过subsets_属性可以查看每个特征组合的详细评估结果：

efs.subsets_

结果可视化

为了更直观地分析结果，我们可以将评估指标转换为DataFrame格式：

import pandas as pd

# 获取评估指标字典
metric_dict = efs.get_metric_dict()

# 转换为DataFrame并按平均分数排序
df = pd.DataFrame.from_dict(metric_dict, orient='index')
df.sort_values(by='avg_score', ascending=False, inplace=True)

# 显示结果
df

DataFrame中包含以下列：