特征选择最强方案:基于树模型的特征选择|原理+代码+可视化全攻略
树模型特征选择是目前工业界最常用、最稳定、效果最好的特征选择方法之一。它不需要正态分布、不需要线性假设、不需要标准化,能自动捕捉非线性、交互、复杂关系,是机器学习、数据分析、建模比赛的必备技能。
一、什么是基于树模型的特征选择?(一句话看懂)
用树模型(决策树、随机森林、GBDT、XGBoost)训练一遍,让模型告诉你:哪些特征最重要,然后只保留重要特征。
它的核心逻辑:
- 树模型在分裂节点时,会自动选择最能区分数据的特征
- 每次分裂都会记录这个特征贡献了多少“纯度提升”
- 最后把所有贡献加起来 = 特征重要性
- 重要性高 → 保留;重要性低 → 扔掉
二、最通俗的比喻:老师挑重点
树模型就像一个有经验的老师:
- 给它一堆知识点(特征)
- 它自己学一遍(训练)
- 然后告诉你:
- 这几个是必考点(重要特征)
- 那几个从来不考(无用特征)
你只背必考点,成绩反而更好!
三、为什么要用树模型做特征选择?(5大优势)
- 能捕捉非线性关系(线性方法做不到)
- 不需要标准化/归一化
- 不需要假设数据分布
- 能自动处理特征交互
- 非常稳定、不容易出错
四、树模型怎么计算特征重要性?(原理超简单)
树模型用两个指标判断特征好坏:
1. 信息增益(熵减少多少)
熵 = 数据乱不乱
信息增益 = 用这个特征分裂后,数据变纯了多少
→ 增益越大,特征越重要
2. 基尼系数(样本纯不纯)
基尼系数越小,样本越纯
特征分裂让基尼系数下降越多 → 特征越重要
最终特征重要性 = 这个特征在所有树的所有节点上的总贡献
五、最常用的3种树模型(直接用)
- 随机森林(Random Forest) → 最常用、最稳定
- 梯度提升树(GBDT) → 精度更高
- XGBoost / LightGBM → 工业界标配
六、Python 完整实战(加州房价预测)
直接复制可运行!
1. 导入库
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.datasets import fetch_california_housing
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.ensemble import RandomForestRegressor, GradientBoostingRegressor
from sklearn.feature_selection import SelectFromModel
from sklearn.metrics import mean_squared_error, r2_score
2. 加载数据
data = fetch_california_housing()
X = pd.DataFrame(data.data, columns=data.feature_names)
y = data.target
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.2, random_state=42
)
print("训练集大小:", X_train.shape)
print("特征数量:", X_train.shape[1])
3. 训练随机森林 + 计算特征重要性
# 训练随机森林
rf = RandomForestRegressor(n_estimators=100, random_state=42, n_jobs=-1)
rf.fit(X_train, y_train)
# 获取特征重要性
importances = pd.Series(
rf.feature_importances_,
index=X.columns
).sort_values(ascending=False)
print("=== 特征重要性排序 ===")
print(importances)
4. 可视化特征重要性
plt.figure(figsize=(10, 5))
importances.plot(kind='bar', color='forestgreen')
plt.title('随机森林特征重要性')
plt.ylabel('Importance')
plt.tight_layout()
plt.show()
5. 自动特征选择(SelectFromModel)
# 自动选择重要特征(重要性大于平均值)
sfm = SelectFromModel(rf, threshold='mean', prefit=True)
X_train_selected = sfm.transform(X_train)
X_test_selected = sfm.transform(X_test)
# 查看选中了哪些特征
selected_features = X.columns[sfm.get_support()]
print("=== 筛选后的重要特征 ===")
print(selected_features.tolist())
6. 用筛选后的特征重新训练模型
# 新模型
rf_selected = RandomForestRegressor(n_estimators=100, random_state=42, n_jobs=-1)
rf_selected.fit(X_train_selected, y_train)
# 预测
y_pred_full = rf.predict(X_test)
y_pred_selected = rf_selected.predict(X_test_selected)
# 对比效果
mse_full = mean_squared_error(y_test, y_pred_full)
mse_selected = mean_squared_error(y_test, y_pred_selected)
r2_full = r2_score(y_test, y_pred_full)
r2_selected = r2_score(y_test, y_pred_selected)
print("===== 模型对比 =====")
print(f"全特征 MSE: {mse_full:.4f} | R2: {r2_full:.4f}")
print(f"筛选后 MSE: {mse_selected:.4f} | R2: {r2_selected:.4f}")
print(f"特征从 {X.shape[1]} 个 → 减少到 {X_train_selected.shape[1]} 个")
7. 超参数调优(提升效果)
param_grid = {
'n_estimators': [100, 200],
'max_depth': [10, 20, None]
}
grid = GridSearchCV(
RandomForestRegressor(random_state=42, n_jobs=-1),
param_grid,
cv=3,
scoring='neg_mean_squared_error'
)
grid.fit(X_train_selected, y_train)
best_rf = grid.best_estimator_
# 最终评估
y_pred_best = best_rf.predict(X_test_selected)
mse_best = mean_squared_error(y_test, y_pred_best)
r2_best = r2_score(y_test, y_pred_best)
print("===== 优化后结果 =====")
print(f"MSE: {mse_best:.4f}")
print(f"R2: {r2_best:.4f}")
七、树模型特征选择的优点(必背)
- 全自动:训练完直接输出重要性,不用手工算
- 非线性友好:能发现线性方法看不到的关系
- 不用标准化:树模型不怕量纲差异
- 高维数据友好:特征几百几千个也能跑
- 非常稳定:随机森林多棵树平均,不容易受噪声影响
八、树模型特征选择的缺点
- 训练比简单方法慢
- 对噪声有一点敏感
- 高度相关的特征会平分重要性
九、什么时候必须用树模型特征选择?
- 特征之间不是线性关系
- 你不知道特征是什么分布
- 特征多、维度高
- 数据不需要标准化
- 要最稳定、最靠谱的特征筛选结果
- 工业项目、建模比赛、学术论文
十、最简单总结(背诵版)
- 树模型特征选择 = 让树模型告诉你哪些特征有用
- 重要性越高 → 特征越有用
- 步骤:训练 → 看重要性 → 筛选 → 重新建模
- 优点:非线性、稳定、全自动、不用标准化
- 最常用:随机森林
102



被折叠的 条评论
为什么被折叠?



