【特征选择】基于树模型的特征选择

嵌入法特征选择:从L1正则化到树模型重要性 特征选择是机器学习流程中至关重要的一环,它直接关系到模型的性能与可解释性。常见的过滤法虽然计算高效,却忽略了特征间的交互;包裹法能贴合模型,但反复训练的成本高昂。嵌入法(Embedded)将特征选择内嵌于模型训练过程,在拟合参数的同时自动完成特征筛选,兼顾效率与效果。L1正则化通过稀疏化系数实现特征淘汰,树模型则利用分裂时的不纯度下降或置换重要性评估特征贡献,两者是嵌入法的两大主流实践。这类方法适用于高维数据、特征相关性复杂的真实场景,能有效降低过拟合风险并提升模型稳定性。本文系统梳理嵌入法的核心原理、实战 阅读详情

特征选择最强方案:基于树模型的特征选择|原理+代码+可视化全攻略

树模型特征选择是目前工业界最常用、最稳定、效果最好的特征选择方法之一。它不需要正态分布、不需要线性假设、不需要标准化,能自动捕捉非线性、交互、复杂关系,是机器学习、数据分析、建模比赛的必备技能。


一、什么是基于树模型的特征选择?(一句话看懂)

用树模型(决策树、随机森林、GBDT、XGBoost)训练一遍,让模型告诉你:哪些特征最重要,然后只保留重要特征。

它的核心逻辑:

  • 树模型在分裂节点时,会自动选择最能区分数据的特征
  • 每次分裂都会记录这个特征贡献了多少“纯度提升”
  • 最后把所有贡献加起来 = 特征重要性
  • 重要性高 → 保留;重要性低 → 扔掉

二、最通俗的比喻:老师挑重点

树模型就像一个有经验的老师:

  • 给它一堆知识点(特征)
  • 它自己学一遍(训练)
  • 然后告诉你:
    • 这几个是必考点(重要特征)
    • 那几个从来不考(无用特征)

你只背必考点,成绩反而更好!


三、为什么要用树模型做特征选择?(5大优势)

  1. 能捕捉非线性关系(线性方法做不到)
  2. 不需要标准化/归一化
  3. 不需要假设数据分布
  4. 能自动处理特征交互
  5. 非常稳定、不容易出错

四、树模型怎么计算特征重要性?(原理超简单)

树模型用两个指标判断特征好坏:

1. 信息增益(熵减少多少)

熵 = 数据乱不乱
信息增益 = 用这个特征分裂后,数据变纯了多少
→ 增益越大,特征越重要

2. 基尼系数(样本纯不纯)

基尼系数越小,样本越纯
特征分裂让基尼系数下降越多 → 特征越重要

最终特征重要性 = 这个特征在所有树的所有节点上的总贡献


五、最常用的3种树模型(直接用)

  1. 随机森林(Random Forest) → 最常用、最稳定
  2. 梯度提升树(GBDT) → 精度更高
  3. XGBoost / LightGBM → 工业界标配

六、Python 完整实战(加州房价预测)

直接复制可运行!

1. 导入库

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

from sklearn.datasets import fetch_california_housing
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.ensemble import RandomForestRegressor, GradientBoostingRegressor
from sklearn.feature_selection import SelectFromModel
from sklearn.metrics import mean_squared_error, r2_score

2. 加载数据

data = fetch_california_housing()
X = pd.DataFrame(data.data, columns=data.feature_names)
y = data.target

X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42
)

print("训练集大小:", X_train.shape)
print("特征数量:", X_train.shape[1])

3. 训练随机森林 + 计算特征重要性

# 训练随机森林
rf = RandomForestRegressor(n_estimators=100, random_state=42, n_jobs=-1)
rf.fit(X_train, y_train)

# 获取特征重要性
importances = pd.Series(
    rf.feature_importances_,
    index=X.columns
).sort_values(ascending=False)

print("=== 特征重要性排序 ===")
print(importances)

4. 可视化特征重要性

plt.figure(figsize=(10, 5))
importances.plot(kind='bar', color='forestgreen')
plt.title('随机森林特征重要性')
plt.ylabel('Importance')
plt.tight_layout()
plt.show()

5. 自动特征选择(SelectFromModel)

# 自动选择重要特征(重要性大于平均值)
sfm = SelectFromModel(rf, threshold='mean', prefit=True)
X_train_selected = sfm.transform(X_train)
X_test_selected = sfm.transform(X_test)

# 查看选中了哪些特征
selected_features = X.columns[sfm.get_support()]
print("=== 筛选后的重要特征 ===")
print(selected_features.tolist())

6. 用筛选后的特征重新训练模型

# 新模型
rf_selected = RandomForestRegressor(n_estimators=100, random_state=42, n_jobs=-1)
rf_selected.fit(X_train_selected, y_train)

# 预测
y_pred_full = rf.predict(X_test)
y_pred_selected = rf_selected.predict(X_test_selected)

# 对比效果
mse_full = mean_squared_error(y_test, y_pred_full)
mse_selected = mean_squared_error(y_test, y_pred_selected)

r2_full = r2_score(y_test, y_pred_full)
r2_selected = r2_score(y_test, y_pred_selected)

print("===== 模型对比 =====")
print(f"全特征 MSE: {mse_full:.4f} | R2: {r2_full:.4f}")
print(f"筛选后 MSE: {mse_selected:.4f} | R2: {r2_selected:.4f}")
print(f"特征从 {X.shape[1]} 个 → 减少到 {X_train_selected.shape[1]} 个")

7. 超参数调优(提升效果)

param_grid = {
    'n_estimators': [100, 200],
    'max_depth': [10, 20, None]
}

grid = GridSearchCV(
    RandomForestRegressor(random_state=42, n_jobs=-1),
    param_grid,
    cv=3,
    scoring='neg_mean_squared_error'
)

grid.fit(X_train_selected, y_train)
best_rf = grid.best_estimator_

# 最终评估
y_pred_best = best_rf.predict(X_test_selected)
mse_best = mean_squared_error(y_test, y_pred_best)
r2_best = r2_score(y_test, y_pred_best)

print("===== 优化后结果 =====")
print(f"MSE: {mse_best:.4f}")
print(f"R2: {r2_best:.4f}")

七、树模型特征选择的优点(必背)

  1. 全自动:训练完直接输出重要性,不用手工算
  2. 非线性友好:能发现线性方法看不到的关系
  3. 不用标准化:树模型不怕量纲差异
  4. 高维数据友好:特征几百几千个也能跑
  5. 非常稳定:随机森林多棵树平均,不容易受噪声影响

八、树模型特征选择的缺点

  1. 训练比简单方法慢
  2. 对噪声有一点敏感
  3. 高度相关的特征会平分重要性

九、什么时候必须用树模型特征选择?

  • 特征之间不是线性关系
  • 你不知道特征是什么分布
  • 特征多、维度高
  • 数据不需要标准化
  • 要最稳定、最靠谱的特征筛选结果
  • 工业项目、建模比赛、学术论文

十、最简单总结(背诵版)

  • 树模型特征选择 = 让树模型告诉你哪些特征有用
  • 重要性越高 → 特征越有用
  • 步骤:训练 → 看重要性 → 筛选 → 重新建模
  • 优点:非线性、稳定、全自动、不用标准化
  • 最常用:随机森林
树模型中分裂特征选择标准--信息熵,信息增益,信息增益率的计算 1.熵:集和的熵值 -sum(pi * log(pi , 2))2.信息增益:集和的熵-按照特征a划分后子集的熵加权和(偏向类别数目多的属性) 3.信息增益率:信息增益/属性的熵(偏向类别数目少的属性)4.基尼值:1-集和各类别值的概率平方和(随机抽取两个样本其类别不一致的概率) 1 - sum(pi**2)5.基尼系数:按照属性a划分后各子集的加权基尼和ID3:判别式模型,分类树,多叉树,信息增... 阅读详情

相关推荐

嵌入法特征选择实战:用Lasso与树模型重要性自动筛选特征

特征选择是机器学习建模中应对高维数据的核心环节,常见方法包括过滤式、包裹式和嵌入法。其中嵌入法(Embedded)结合了前两者的优点,能在模型训练过程中自动评估特征贡献,避免反复训练和脱离模型的单变量分析。Lasso通过L1正则化产生稀疏解,将无关特征系数压缩为零;树模型则根据分裂增益输出特征重要性,两者都可作为嵌入法落地工具。其技术价值在于以较低计算开销获得高可解释性的特征子集,提升模型稳定性与训练效率。在业务应用中,面对几百维甚至更高维的特征表,嵌入法能快速定位关键变量。以模拟项目X为例,利用Lasso

weixin_32495691的博客 102

树模型特征选择

树模型特征选择的目的是通过选择最相关的特征来构建具有较高预测能力的树模型。树模型特征选择的原理基于两个关键概念:纯度和信息增益。纯度是指节点中目标变量的混杂程度,信息增益是指在某个特征的条件下,目标变量的不确定性减少的程度。树模型特征选择的方法通常包括基于纯度的方法(如基尼指数、熵)和基于信息增益的方法(如信息增益、信息增益比)。

数分小白.py的博客 1331

决策树模型与特征选择

决策树模型与特征选择决策树的形式树形结构规则集合条件概率决策树的学习特征选择信息量信息熵条件熵信息增益信息增益比 决策树是一种基本的分类与回归方法,本章将重点介绍分类决策树的原理与应用。分类决策树既可以看作是一个规则集合,又可以看作是给定特征条件下类的条件概率分布。 决策树的形式 树形结构 某银行使用如下决策树模型决定是否同意申请人贷款: 每来一个贷款申请人,我们先看他是否有房,然后看他是否有工作,根据这两个特征决定要不要给他贷款。 规则集合 由上面的决策树可知,从根结点到叶子结点一共有三条路径,分别对应

一名新生程序员的日常 1399

树模型特征选择-对特征的重要性排序

树模型特征选择-对特征的重要性排序

weixin_74009895的博客 756

特征选择之特征重要性排序(基于树模型)

特征选择在机器学习中起着至关重要的作用,它能够帮助我们理解哪些特征对于模型的预测起到关键作用,从而提高模型的泛化能力和解释性。在基于树模型的特征选择中,特征重要性排序是一种常用的方法,通过评估每个特征对模型预测结果的贡献程度来进行排序。通过对特征重要性进行排序,我们可以快速识别哪些特征对模型性能的提升具有重要作用,进而在模型训练的过程中更加关注和优化这些重要特征。

踏入代码与智能交织的奇妙世界,我是小辉同志。在这片技术天地里,C++ 是我探索底层逻辑、雕琢高效算法的利刃,每一段精心编写的代码都是通往优化之路的基石。而人工智能,则宛如闪耀星辰,引领我不断钻研机器学习、深度学习等前沿领域,探寻智能的奥秘。 738

LSTM改进9:使用树模型特征选择优化,提高训练效果

树模型特征选择器的核心原理是:在构建决策树的过程中,通过评估不同特征对样本 “纯度”(或不确定性)的改善程度来决定节点分裂的特征。具体而言,利用基尼指数(CART 树)、** 信息增益(ID3)或信息增益比(C4.5)** 等指标,量化特征划分样本后类别的集中程度(如基尼指数越小、信息增益越大,说明划分后样本纯度越高),每次选择能最大程度降低不纯度的特征作为分裂点,递归地剔除对目标变量预测贡献较低的特征,最终保留的特征即为对模型最具判别力的关键特征。这一过程将特征选择与树的构建融为一体,实现了对特征重要性的

AIcurator的博客 131

特征选择避坑指南:用SelectFromModel时,L1正则化和树模型到底该怎么选?

本文深入探讨了特征选择中L1正则化与树模型的适用场景与核心原理对比,帮助数据科学家根据数据特性选择最优方法。通过实际案例和参数调优技巧,解析了L1正则化在高维稀疏数据中的优势,以及树模型在非线性关系中的表现,并提供了决策流程图和常见陷阱解决方案。

weixin_30321709的博客 600

hcaptcha逆向实战:从API解析到参数构造的完整链路

本文详细拆解了hcaptcha验证码的逆向实战流程,从环境准备、捕获API与版本号,到解析核心加密逻辑hsw.js,再到构造getcaptcha请求参数,最后完成验证提交。文章重点剖析了motionData、n、c等关键参数的获取与构造方法,为开发者模拟浏览器行为、实现自动化验证提供了清晰的完整链路指南。

ik678901的博客 632

嵌入法特征选择:从Lasso稀疏到树模型重要性原理与实操

特征选择是机器学习建模中绕不开的预处理环节,常见思路包括过滤式、包裹式和嵌入式。嵌入式方法将特征筛选直接融入模型训练过程,让模型在拟合目标函数的同时自动评估特征贡献,兼具效率和精度。正则化流派以Lasso为代表,借助L1惩罚将无关特征的系数压缩为零,从而实现稀疏选择;树模型流派则通过分裂增益等指标输出特征重要性,捕捉非线性关系和交互效应。嵌入法适用于高维数据、业务规则提炼以及模型可控性要求较高的场景,常配合交叉验证和Pipeline降低信息泄露风险。相比过滤式只评估单特征、包裹式搜索成本高,嵌入法在特征子集

weixin_29048775的博客 243

ROS牛耕法全覆盖规划:从算法原理到清洁机器人实战解析

本文深入解析ROS牛耕法全覆盖规划算法在清洁机器人中的应用,从算法原理到实战优化技巧全面覆盖。详细介绍了地图预处理、区域分解和路径优化等关键步骤,并分享实际案例中的解决方案,帮助开发者提升机器人清扫效率和覆盖率。

weixin_27013291的博客 393

MobaXterm破解14个会话限制的保姆级教程(附Python环境配置指南)

本文提供了MobaXterm破解14个会话限制的详细教程,并深入讲解了如何配置稳定的Python环境以支持相关脚本运行。通过理解软件授权机制、安全实践步骤以及许可文件的应用,帮助用户解除会话数量限制,实现高效的远程服务器管理与自动化运维。

weixin_29211309的博客 1690

互信息特征选择python_特征选择:方差选择法、卡方检验、互信息法、递归特征消除、L1范数、树模型...

特征选择主要从两个方面入手:特征是否发散:特征发散说明特征的方差大,能够根据取值的差异化度量目标信息.特征与目标相关性:优先选取与目标高度相关性的.对于特征选择,有时候我们需要考虑分类变量和连续变量的不同.1.过滤法:按照发散性或者相关性对各个特征进行评分,设定阈值或者待选择阈值的个数选择特征方差选择法:建议作为数值特征的筛选方法计算各个特征的方差,然后根据阈值,选择方差大于阈值的特征from s...

weixin_39789690的博客 2170

从原理到实践:MIPI D-PHY v1.2的HS-Deskew功能全解析(附时序图详解)

本文深入解析MIPI D-PHY v1.2的HS-Deskew功能,从技术背景到实现机制,详细介绍了其在2.5Gbps高速传输中的关键作用。通过时序图详解和实测数据,帮助工程师理解并应用这一技术,解决信号完整性问题,提升系统可靠性。

weixin_30300225的博客 309

嵌入法特征选择:从L1正则化到树模型,一次训练搞定特征筛选

特征选择是机器学习建模中决定模型上限的关键环节。传统过滤法脱离模型,包裹法计算昂贵,而嵌入法将特征筛选与模型训练同步进行,在训练过程中自动评估特征价值。其中,L1正则化通过稀疏化系数将无关特征压缩为零,树模型则利用分裂增益输出特征重要性,二者均无需额外搜索即可获得候选特征子集。嵌入法高效、可解释,尤其适用于特征维度高、业务要求可解释的工业场景。实际落地时,需注意数据标准化、高基数特征偏好及跨模型稳定性等问题,结合双路径交叉验证方能得到可靠结论。本文从嵌入法原理出发,系统拆解Lasso与LightGBM两类主

weixin_30694389的博客 306

基于Keil软件实现对射式红外传感器计次 (江协科技HAL库)

用HAL库复现江协科技,让嵌入式学习之路更顺畅。

2401_82728381的博客 800

银河麒麟操作系统最佳实践专栏介绍

本专栏聚焦国产银河麒麟操作系统(桌面版/服务器版)的实战应用,提供系统安装、配置优化、应用部署、故障排查等实用指南。内容基于真实操作场景,涵盖Linux通用技术(如RAID配置、环境变量管理)、服务器系统专项(如数据库迁移、驱动安装、安全加固)及桌面系统技巧(如PXE安装、镜像封装)。面向IT运维、开发者和国产化转型人员,突出实战性和差异化,帮助用户规避常见问题,提升系统管理效率。所有教程均配有详细步骤和截图,确保可操作性,并持续更新适配新版系统。

信创运维工程师 · 银河麒麟 & 容器实战 | 金融生产环境迁移·等保加固 | 142篇原创·17万+阅读 534

嵌入法特征选择实战:L1正则与树模型重要性评估全解析

特征选择是机器学习建模中绕不开的关键环节,过滤法只关注单变量相关性,包装法虽考虑特征交互却计算成本高昂。嵌入法则另辟蹊径,让模型在训练过程中自动评估特征重要性,既避免了反复训练的开销,又保留了特征间交互信息。通过L1正则化线性模型或树模型的特征重要性机制,Scikit-learn的SelectFromModel可便捷实现筛选流程。但实操中需警惕数据泄漏风险,阈值设定也需结合验证集反馈。本文从概念原理到工程实践,全面拆解嵌入法的落地要点与常见陷阱,帮助你在高维数据场景下高效构建稳定可靠的特征集。

weixin_28235513的博客 159

高通8155源码下载与Android源码编译

一.下载代码 高通下载源码位置: Qualcomm CreatePoint 注册账号,然后登入 可以先选择edit -> infotainment -> sa8155 -> favorites, 点击View TOC就可以过滤出sa8155所有的信息目录.如下图 拉取代码链接在ChipCode中,点击进去可以看到所有的基线版本,选择你需要下载的版本点进去,如sa8155p-la-1-0_ap_standard_oem,把高通专有代码和开源代码都下载到本机. 1..

Johnny2004的专栏 7678

树模型特征重要性,特征选择-原理

基于袋外数据误差,对特征X给于扰动,得到特征重要性评分 参考: https://www.cnblogs.com/justcxtoworld/p/3447231.html#3975497

weixin_45469590的博客 1873

【深度学习|语义分割之UNet】如何使用ResNet50 作为 U-Net 网络的骨干网络(backbone)并使用预训练的 ResNet50 模型。附代码及解读。

【深度学习|语义分割之UNet】如何使用ResNet50 作为 U-Net 网络的骨干网络(backbone)并使用预训练的 ResNet50 模型。附代码及解读。

985小水博的摸鱼日常 3091

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

嵌入法特征选择实战:L1正则、树模型与排列重要性

特征选择是机器学习建模中的关键预处理步骤,直接影响模型效果与训练效率。传统过滤法基于统计指标筛选特征,包裹法则通过反复训练搜索最优子集,两者各有局限。嵌入法则另辟蹊径,让模型在训练过程中同步评估特征贡献,如L1正则化将无用特征系数压缩为零,树模型通过不纯度降低计算特征重要性,排列重要性则从预测效果变化角度验证特征价值。这种思路兼顾模型相关性、计算成本与稳定性,适用于信贷风控、稀疏文本等场景。本文深入解析嵌入法原理与三主流实现路径,并基于模拟数据展示特征筛选和交叉验证的完整流程,帮助读者构建可落地的特征选择方

weixin_29051149的博客 309

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

决策树,决策树模型与学习,特征选择,决策树的生成,决策树的剪枝,cart算法,

光英的记忆博客 689

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

机器学习笔记(八)——决策树模型的特征选择

一、引言决策树构建过程中的特征选择是非常重要的一步。特征选择是决定用哪个特征来划分特征空间,特征选择是要选出对训练数据集具有分类能力的特征,这样可以提高决策树的学习效率。如果利用某一个特征进行分类与随机分类的结果没有很大的差别,则称这个特征是没有分类能力的。这样的特征可以丢弃。常用的特征选择的准则是信息增益和信息增益比。二、信息增益要了解信息增益,我们要先知道熵与条件熵的定义。2.1 熵熵是无序度的

chunyun0716的专栏 1万+

机器学习中的特征选择——决策树模型预测泰坦尼克号乘客获救实例

在机器学习和统计学中,特征选择(英语:feature selection)也被称为变量选择、属性选择或变量子集选择。它是指:为了构建   模型而选择相关特征(即属性、指标)子集的过程。使用特征选择技术有三个原因:简化模型,使之更易于被研究人员或用户理解,缩短训练时间,改善通用性、降低过拟合(即降低方差)。本文以之前决策树预测中的泰坦尼克号数据为例,试图通过特征筛选来选择最佳的特征组合,并且提到预测...

U R MINE 2543

Spark MLlib特征选择实战:从卡方筛选到树模型重要性

在机器学习工程实践中,特征选择是提升模型性能与训练效率的关键环节。它通过筛选与目标变量高度相关的特征,剔除冗余与噪声,从而降低特征维度,避免过拟合。在大数据场景下,特征选择的价值更为凸显:面对海量数据和成百上千维特征,合理的筛选能显著减少计算开销,加速模型迭代,并提升模型泛化能力。Apache Spark MLlib提供了丰富的特征选择工具,如基于统计检验的卡方选择器、基于业务约束的向量切片以及基于树模型的特征重要性评估。这些方法可灵活组合,在分布式计算环境中高效完成特征筛选。从电商用户行为分析到信贷风控,

weixin_29044157的博客 296
上一篇: 【特征选择】互信息法
下一篇: 【特征选择】嵌入法(Embedded)
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值