34、探索包装、混合和高级特征选择方法

探索包装、混合和高级特征选择方法

在特征选择领域，之前研究的方法计算成本较低，因为它们无需模型拟合或仅拟合更简单的白盒模型。接下来，我们将深入了解其他更详尽且有多种调优选项的特征选择方法，主要分为以下几类：
- 包装方法（Wrapper） ：通过拟合机器学习模型，使用衡量指标改进的搜索策略，详尽地寻找最佳特征子集。
- 混合方法（Hybrid） ：将嵌入式和过滤方法与包装方法相结合的方法。
- 高级方法（Advanced） ：不属于上述已讨论类别的方法，例如降维、模型无关的特征重要性和遗传算法（GA）等。

包装方法

包装方法的核心概念较为简单，即评估机器学习模型上不同的特征子集，并选择在预定目标函数中得分最高的子集。其差异主要体现在搜索策略上，常见的搜索策略如下：
1. 顺序前向选择（Sequential forward selection, SFS） ：从没有特征开始，每次添加一个特征。
2. 顺序前向浮动选择（Sequential forward floating selection, SFFS） ：与SFS类似，但在添加每个特征后，如果目标函数得分提高，可以移除一个特征。
3. 顺序后向选择（Sequential backward selection, SBS） ：从包含所有特征开始，每次移除一个特征。
4. 顺序浮动后向选择（Sequential floating backward