19、基于上下文价值和相关性启发式的集成特征选择

基于上下文价值和相关性启发式的集成特征选择

在机器学习领域，特征选择是一个关键步骤，它能够提高模型的性能、减少计算成本以及增强模型的可解释性。本文将介绍两种特征选择启发式方法：上下文价值（CM）度量和基于相关性的价值度量，并详细阐述一种集成特征选择算法 EFS_ref，最后通过实验对比这两种启发式方法的性能。

1. 上下文价值（CM）度量

CM 度量为每个特征分配一个价值，它考虑了其他特征在区分与给定特征相同实例时的能力。在极端情况下，如果不同类别的两个实例仅在一个特征上存在差异，那么这个特征对于分类特别有价值，会被赋予额外的价值。

• 特征差异计算

  • 对于分类特征 $f_j$，向量 $x_i$ 和 $x_k$ 的特征值差异 $d_{f_j}(x_i, x_k)$ 定义为：
    [
    d_{f_j}(x_i, x_k) =
    \begin{cases}
    0, & \text{如果特征值相同} \
    1, & \text{否则}
    \end{cases}
    ]
  • 对于数值特征 $f_j$，其特征值差异定义为：
    [
    d_{f_j}(x_i, x_k) = 1 - \min(1, \frac{|x_{i,j} - x_{k,j}|}{t_{f_j}})
    ]
    其中，$x_{i,j}$ 是向量 $x_i$ 中特征 $f_j$ 的值，$t_{f_j}$ 是一个阈值，本文中选择为特征 $f_j$ 值范围的一半。