特征选择最强工具:互信息法|原理+公式+Python实战全攻略
互信息法(Mutual Information)是最强大、最通用的特征选择方法之一,专门用来衡量特征与目标变量之间的关联强度。它不要求正态分布、不限制线性关系,能捕捉各种复杂关系,是机器学习、数据分析、特征工程的必备技能。
一、互信息法是什么?一句话看懂
互信息 = 衡量“特征”能告诉你多少关于“目标”的信息。
- 互信息越大 → 特征越有用
- 互信息越小 → 特征越没用
- 互信息=0 → 特征和目标完全无关
它不关心是不是线性、不关心是不是正态、不关心是什么分布,只关心:这个特征能不能帮我预测结果!
二、最通俗的比喻:猜谜游戏
你要猜一个秘密(目标变量),比如:
- 目标:这个人会不会生病
- 特征:年龄、体重、身高、饮食、运动
互信息就是在告诉你:
- 年龄:能帮你猜中很多 → 互信息高
- 身高:几乎帮不上忙 → 互信息低
互信息法就是:只留下能帮你猜中答案的特征!
三、互信息法的 3 大超级优势(必记)
- 能捕捉非线性关系(皮尔逊相关系数做不到)
- 不要求正态分布(所有数据都能用)
- 分类任务、回归任务都能用
四、数学原理(简单易懂版)
互信息来自信息论,核心是:
信息熵(不确定性)
1. 信息熵 H(X)
衡量一个变量有多不确定、有多乱。
H(X)=−∑P(x)logP(x)H(X) = -\sum P(x)\log P(x)H(X)=−∑P(x)logP(x)
2. 互信息公式(最核心)
I(X;Y)=H(X)+H(Y)−H(X,Y)I(X;Y) = H(X) + H(Y) - H(X,Y)I(X;Y)=H(X)+H(Y)−H(X,Y)
人话解释:
互信息 = X自己的混乱度 + Y自己的混乱度 - X和Y一起的混乱度
- 如果X和Y完全没关系 → 互信息=0
- 如果X和Y关系很强 → 互信息很大
五、互信息法做特征选择的步骤
- 计算每个特征和目标之间的互信息
- 按互信息从大到小排序
- 选择Top-K 个特征(比如前3、前5、前10)
- 扔掉互信息低的无用特征
六、Python 完整实战(可直接运行)
我们用健康预测数据集,用互信息法筛选最重要特征。
1. 导入库
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.model_selection import train_test_split, cross_val_score
from sklearn.preprocessing import LabelEncoder, StandardScaler
from sklearn.metrics import classification_report, confusion_matrix
from sklearn.ensemble import RandomForestClassifier
from sklearn.feature_selection import mutual_info_classif
2. 生成模拟数据
np.random.seed(42)
def create_dataset():
n_samples = 1000
age = np.random.randint(18, 80, size=n_samples)
height = np.random.randint(150, 200, size=n_samples)
weight = np.random.randint(40, 120, size=n_samples)
diet = np.random.choice(['Good', 'Average', 'Poor'], size=n_samples)
exercise = np.random.choice(['None', 'Low', 'High'], size=n_samples)
health_status = np.random.choice([0, 1], size=n_samples, p=[0.7, 0.3])
df = pd.DataFrame({
'age': age,
'height': height,
'weight': weight,
'diet': diet,
'exercise': exercise,
'health_status': health_status
})
return df
df = create_dataset()
print(df.head())
3. 数据预处理
# 分类变量编码
le = LabelEncoder()
df['diet'] = le.fit_transform(df['diet'])
df['exercise'] = le.fit_transform(df['exercise'])
# 特征与目标分离
X = df.drop('health_status', axis=1)
y = df['health_status']
# 标准化
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
4. 计算互信息(核心步骤)
mi = mutual_info_classif(X_scaled, y)
mi_df = pd.DataFrame({
'Feature': X.columns,
'Mutual_Information': mi
}).sort_values(by='Mutual_Information', ascending=False)
print("==== 特征互信息排序 =====")
print(mi_df)
5. 可视化互信息
plt.figure(figsize=(10, 5))
sns.barplot(x='Mutual_Information', y='Feature', data=mi_df, palette='viridis')
plt.title('特征互信息排序')
plt.tight_layout()
plt.show()
6. 选择Top-K特征
# 选择互信息最高的前3个特征
top_k = 3
top_features = mi_df['Feature'].head(top_k).tolist()
print("最有用的特征:", top_features)
X_selected = X[top_features]
7. 训练模型 & 评估
X_train, X_test, y_train, y_test = train_test_split(
X_selected, y, test_size=0.2, random_state=42
)
model = RandomForestClassifier(random_state=42)
model.fit(X_train, y_train)
y_pred = model.predict(X_test)
print(classification_report(y_test, y_pred))
8. 混淆矩阵可视化
cm = confusion_matrix(y_test, y_pred)
sns.heatmap(cm, annot=True, fmt='d', cmap='Blues')
plt.title('混淆矩阵')
plt.xlabel('预测')
plt.ylabel('真实')
plt.show()
9. 交叉验证
scores = cross_val_score(model, X_selected, y, cv=5)
print("交叉验证准确率:", scores.mean())
七、互信息法的优点(必背)
- 能捕捉非线性关系(秒杀皮尔逊相关系数)
- 不要求正态分布(所有数据都能用)
- 分类、回归都能用
- 对异常值不敏感
- 能发现隐藏关系
八、互信息法的缺点
- 计算比简单方法慢一点
- 小样本下估计不太准
- 不能处理多重共线性(两个强相关特征都会被保留)
九、什么时候必须用互信息法?
- 特征和目标不是线性关系
- 数据不符合正态分布
- 你不知道数据是什么分布
- 你想找最有用的特征
- 分类/回归任务都可以
十、最简单总结(背诵版)
- 互信息 = 特征对目标的信息量
- 越大越有用,越小越没用
- 不要求线性、不要求正态
- 计算 → 排序 → 选Top-K → 建模
- 最通用、最强大的特征选择方法之一
3899



被折叠的 条评论
为什么被折叠?



