机器学习特征选择:信息增益(超通俗讲解)
在做机器学习分类任务时,我们常会遇到特征太多、有用的太少的问题。特征选择就是帮我们挑出最有用的特征,既减少计算量,又避免模型过拟合,还能提升预测准确率。
今天用最通俗的方式,把信息增益这个经典特征选择方法讲透,本科生、研究生都能轻松看懂,包含原理、公式、代码、优缺点全总结。
一、先搞懂:什么是特征选择?
举个生活例子:
你要预测一个人会不会买奶茶,手里有这些特征:年龄、性别、身高、体重、喜不喜欢甜、收入、星座。
很明显:身高、体重、星座对买奶茶几乎没用,喜不喜欢甜、年龄才是关键。
特征选择就是:
从一堆特征里,自动选出对分类结果最有用的特征,扔掉没用的。
作用:
- 减少计算量,训练更快
- 避免特征太多导致过拟合
- 模型更简单、更容易解释
二、什么是信息增益?一句话讲明白
信息增益 = 用这个特征分类后,不确定性减少了多少。
越能把不同类别分开的特征,信息增益越大,这个特征就越有用。
通俗小场景:猜动物
一开始你完全不知道是什么动物,信息很混乱、不确定性很高。
- 问:“是猫吗?” → 帮助很小
- 问:“是哺乳动物吗?” → 直接把动物分成两类,不确定性大幅下降
这个“帮你减少迷茫”的程度,就是信息增益。
换到机器学习里:
用特征把数据集分组后,每组里的类别越纯(比如全是好瓜/全是坏瓜),信息增益就越高。
三、核心原理:熵、条件熵、信息增益
信息增益基于信息论,核心是三个概念:熵 → 条件熵 → 信息增益。
1. 熵(Entropy):衡量“混乱程度”
熵用来表示数据集的不确定性/纯净度。
- 熵越大:数据越乱,类别分布均匀
- 熵越小:数据越纯,类别集中
公式(一定要看懂)
假设数据集D有K个类别,第k类占比为pkp_kpk:
H(D)=−∑k=1Kpklog2pkH(D) = -\sum_{k=1}^K p_k \log_2 p_kH(D)=−k=1∑Kpklog2pk
约定:0×log20=00 \times \log_2 0 = 00×log20=0
举个最简单例子
- 全是好瓜:熵=0(最纯)
- 一半好瓜一半坏瓜:熵=1(最乱)
2. 条件熵(Conditional Entropy)
用特征A把数据分成几组后,剩下的平均混乱程度。
步骤:
- 按特征A的取值把D分成V个子集D1,D2...DVD_1,D_2...D_VD1,D2...DV
- 分别算每个子集的熵
- 按子集大小加权平均
公式
H(D∣A)=∑j=1V∣Dj∣∣D∣H(Dj)H(D|A) = \sum_{j=1}^V \frac{|D_j|}{|D|} H(D_j)H(D∣A)=j=1∑V∣D∣∣Dj∣H(Dj)
- ∣Dj∣∣D∣\frac{|D_j|}{|D|}∣D∣∣Dj∣:第j组数据占总数据的比例(权重)
- H(Dj)H(D_j)H(Dj):第j组数据的熵
3. 信息增益(Information Gain)
信息增益 = 原来的混乱程度 − 分完组后的混乱程度
最终核心公式
IG(D,A)=H(D)−H(D∣A)IG(D,A) = H(D) - H(D|A)IG(D,A)=H(D)−H(D∣A)
结论:
- IG越大 → 特征A越能降低不确定性 → 越有用
- IG越小 → 特征A没用,分了跟没分一样
四、完整计算流程(一步一步跟着算)
- 算整体熵H(D):不看任何特征,原始数据的混乱度
- 对每个特征A:
- 按A的取值分组
- 算每组熵
- 算条件熵H(D|A)
- 算信息增益IG = H(D) − H(D|A)
- 按IG从大到小排序,选IG高的特征
五、实战案例:Python代码实现(可直接复制)
我们用一个是否喜欢水果的小数据集,亲手算信息增益。
1. 构造数据集
| Color | Size | Sweet | Liked |
|---|---|---|---|
| Green | Large | Sweet | Yes |
| Green | Large | NotSweet | Yes |
| Yellow | Large | Sweet | No |
| Yellow | Small | Sweet | No |
| Yellow | Small | NotSweet | Yes |
| Green | Small | Sweet | No |
| Green | Large | NotSweet | Yes |
2. Python代码
import pandas as pd
import numpy as np
# 1. 构造数据
data = {
'Color': ['Green', 'Green', 'Yellow', 'Yellow', 'Yellow', 'Green', 'Green'],
'Size': ['Large', 'Large', 'Large', 'Small', 'Small', 'Small', 'Large'],
'Sweet': ['Sweet', 'NotSweet', 'Sweet', 'Sweet', 'NotSweet', 'Sweet', 'NotSweet'],
'Liked': ['Yes', 'Yes', 'No', 'No', 'Yes', 'No', 'Yes']
}
df = pd.DataFrame(data)
# 2. 计算熵
def entropy(target_col):
elements, counts = np.unique(target_col, return_counts=True)
ent = 0
for count in counts:
p = count / sum(counts)
ent -= p * np.log2(p)
return ent
# 3. 计算条件熵
def conditional_entropy(data, feature_col, target_col):
elements, counts = np.unique(data[feature_col], return_counts=True)
cond_ent = 0
total_num = len(data)
for i in range(len(elements)):
subset = data[data[feature_col] == elements[i]]
p_sub = len(subset) / total_num
cond_ent += p_sub * entropy(subset[target_col])
return cond_ent
# 4. 计算信息增益
def info_gain(data, feature_col, target_col):
total_ent = entropy(data[target_col])
cond_ent = conditional_entropy(data, feature_col, target_col)
return total_ent - cond_ent
# 5. 计算所有特征的信息增益
target = 'Liked'
features = ['Color', 'Size', 'Sweet']
for f in features:
ig = info_gain(df, f, target)
print(f"特征:{f},信息增益:{ig:.4f}")
3. 运行结果
特征:Color,信息增益:0.1281
特征:Size,信息增益:0.1281
特征:Sweet,信息增益:0.5216
✅ 结论:
甜度(Sweet) 信息增益最大,是区分“是否喜欢”最有用的特征。
六、信息增益的优点与缺点(面试常考)
优点
- 理论扎实:源自信息论,可量化特征有用程度
- 直观好理解:IG越大特征越有用
- 离散特征友好:计算简单、速度快
- 可解释性强:适合决策树等模型
缺点
- 偏向取值多的特征
取值越多,分组越细,熵降得越多,容易被误判为重要特征,可能过拟合。 - 不能直接处理连续特征
连续值必须先分箱/离散化,增加预处理步骤。 - 高维大数据下计算成本偏高
七、信息增益 vs 其他特征选择方法
| 方法 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|
| 信息增益 | 直观、理论强、适合离散特征 | 偏向多值特征、连续值需离散化 | 离散特征、类别清晰、快速筛选 |
| 信息增益率 | 修正多值偏向,比信息增益更稳 | 计算稍复杂 | 多值特征多、避免偏向 |
| 卡方检验 | 统计严谨、适合分类特征 | 样本量要求高、连续值需离散化 | 需要统计检验、样本充足 |
| 互信息 | 能抓非线性、支持连续+离散 | 计算复杂、调参难 | 特征与标签关系复杂 |
| 方差选择 | 超快、简单 | 不考虑与标签关系 | 预处理快速去低方差特征 |
| 树模型重要性 | 贴合模型、非线性强 | 依赖模型、计算量大 | 复杂数据、模型训练后评估 |
八、什么时候用信息增益?
推荐使用
- 数据以离散特征为主
- 类别清晰、样本分布比较均衡
- 做决策树特征分裂/特征筛选
- 需要快速、可解释的特征选择
不推荐使用(换方法)
- 特征取值特别多 → 用信息增益率
- 大量连续特征、离散化困难 → 用互信息/树模型重要性
- 需要严格统计显著性 → 用卡方检验
- 维度极高 → 先方差筛选,再用信息增益
九、总结(必看)
- 信息增益 = 特征带来的不确定性减少量
- 核心公式:IG=H(D)−H(D∣A)IG = H(D) - H(D|A)IG=H(D)−H(D∣A)
- IG越大,特征对分类越有用
- 适合离散特征,简单高效,但偏向多值特征
- 实际使用:离散数据首选;复杂/连续数据搭配其他方法
2061



被折叠的 条评论
为什么被折叠?



