【漫话机器学习系列】234.阈值类特征的方差分析（Thresholding Categorical Feature Variance）

用“方差”筛选分类特征：阈值类特征的方差分析

在特征工程的世界里，有效地筛选特征对提升模型性能至关重要。特别是处理类别特征（categorical features）时，如何判断某个特征是否含有足够的信息？今天我们介绍一个非常直观又有效的方法：通过计算类别特征的方差（variance）进行筛选。

本文以二分类变量为例，讲解如何使用方差来评估类别特征的重要性，并通过一个简单公式展示其计算方式。

---

一句话总结核心思想

“类别特征的方差越大，说明其携带的信息越丰富。”

这与我们在统计学中的认知是一致的：方差越大，代表数据分布越分散、不集中，信息熵更高；相反，如果某个变量几乎都集中在一个取值上，它几乎对模型没有什么帮助。

---

分类变量的方差公式

对于一个二分类变量（比如是否购买、是否点击等），我们将类别取值（通常是 0 和 1）视为一个 Bernoulli 分布。在这种情况下，方差的公式非常简单直观：

其中：

• p：是类别为 1 的样本在特征中的比例（也称为“正例比例”）。

• 1 - p：自然是类别为 0 的比例。

• x：代表某个类别特征。

说明：

• 当 p = 0 或 p = 1 时，方差为 0，说明这个特征几乎无变化（即所有样本都属于一个类别），对模型贡献极小。

• 当 p = 0.5 时，方差最大，为 0.25，说明这个特征在样本中最分散，包含的信息最多。

---

为什么使用方差作为筛选标准？

当我们处理成百上千个类别特征时，有些特征可能极为稀疏或者在大多数样本中都只有一个值（例如：某电商平台上极少用户用某个罕见支付方式）。这些低方差特征通常对模型没什么帮助，反而会增加噪声、延长训练时间。

通过设定一个方差阈值（threshold），我们可以剔除这些“无用特征”。

示例阈值筛选规则：

if var(x) < 0.01:
    特征 x 将被丢弃

这种方式称为“方差筛选法（variance thresholding）”。

---

实战应用场景

• 文本分类中的词袋模型（Bag-of-Words）：很多词在整个语料库中出现频率极低，或几乎只出现于一个标签中，这种时候就可以通过方差筛选去掉无信息词。

• 特征选择预处理：在进行模型训练前先进行一次低方差特征筛除，可减少过拟合风险。

• 对类别特征进行 One-Hot 编码后，每个编码列可视为一个二分类变量，适用于方差分析。

---

小结

我们可以用一个流程图来总结方差筛选的步骤：

1. 对类别特征进行 One-Hot 编码

2. 对每一个二值特征计算其方差

3. 设定方差阈值（例如 0.01）

4. 丢弃方差小于阈值的特征

---

补充说明

• 方差筛选法是一种无监督特征选择方法，不考虑目标变量（标签）；

• 它适合作为初步特征选择步骤，后续可以结合 Lasso、树模型等进行更复杂的特征筛选；

• 对于多分类变量，可以先进行独热编码（One-Hot），再对每列使用上述方差公式。

---

寄语

方差筛选虽然简单，却是提高模型泛化能力和训练效率的一大利器。尤其在初步数据探索阶段，帮助你快速砍掉一批“无用”变量。

如图所示（来源：Chris Albon），理解这个公式的几何含义和实际意义，是我们在特征工程中迈出的重要一步。

---

你是否在实际项目中用过类似方法？欢迎评论区一起交流～😊