【特征选择】嵌入法(Embedded)

特征选择—过滤法(Filter)、嵌入法(Embedded)和包装法(Wrapper) 一、过滤法(Filter) 目的:在维持算法表现的前提下,帮助算法们降低计算成本 特点:独立操作,不与后续分类(或者回归)模型相关 过程: 目标对象:需要遍历特征或升维的算法。最近邻算法KNN,支持向量机SVM,决策树,神经网络,回归算法等遍历特征或升维运算,本身的运算量很大,需要的时间很长,因此特征选择很重要。随机森林不需要遍历特征,每次选的特征就很随机,并非用到所有的特征,所以特征选择作用不大。 思考:过滤法对随机森林无效,却对树模型有效? 解释:传统决策树需遍历所有特征,计算不纯度后分枝. 阅读详情

特征选择核心方法:嵌入法(Embedded)|原理+代码+可视化全攻略

嵌入法是机器学习里最高效、最常用、最适合论文与工程的特征选择方式。它把特征选择直接嵌在模型训练里,一边训练一边自动筛选,不用单独跑特征筛选流程,速度快、效果稳。


一、什么是嵌入法?一句话看懂

嵌入法 = 训练模型时自动做特征选择,一步到位。

它不像过滤法(先筛选再训练)、包裹法(反复训练筛选),而是:

  • 模型训练
  • 特征打分
  • 特征筛选
    三件事同时完成。

二、最通俗的比喻:边学边划重点

你在复习考试:

  • 过滤法:先划重点 → 再背书
  • 包裹法:背一遍 → 划重点 → 再背一遍
  • 嵌入法:边背书边自动划重点

嵌入法就是模型自带特征筛选功能,训练完直接告诉你:哪些特征有用。


三、嵌入法靠什么实现?(两大核心)

嵌入法主要依靠正则化(Regularization)实现:

  1. L1 正则化(Lasso) → 直接把不重要特征的权重变成 0(真正删除)
  2. L2 正则化(Ridge) → 把不重要特征权重压缩变小(不删但减弱)

另外树模型(随机森林、XGBoost)也属于嵌入法。


四、嵌入法的 4 大优势(必背)

  1. 一步到位:训练 + 筛选同时完成
  2. 速度快:不用反复训练模型
  3. 减少过拟合:正则化本身就是防过拟合
  4. 高维数据友好:特征几百上千也能跑

五、核心公式(简单看懂)

1. Lasso(L1)嵌入法公式

Loss=MSE+λ∑∣w∣ Loss = MSE + \lambda \sum|w| Loss=MSE+λ∑∣w∣

  • 后面那项就是惩罚
  • λ 越大 → 惩罚越强 → 越多特征权重变 0

2. Ridge(L2)嵌入法公式

Loss=MSE+λ∑w2 Loss = MSE + \lambda \sum w^2 Loss=MSE+λ∑w2

  • 权重被压缩,但不会变成 0

六、嵌入法完整流程(超清晰)

  1. 选择带正则化的模型(Lasso、Ridge、树模型)
  2. 训练模型
  3. 模型自动给特征权重/重要性
  4. 权重=0 或 权重小 → 删除
  5. 用筛选后的特征建模

七、Python 完整实战(房价预测)

直接复制可运行!

1. 导入库

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.linear_model import Lasso
from sklearn.preprocessing import StandardScaler
from sklearn.feature_selection import SelectFromModel
from sklearn.metrics import mean_squared_error, r2_score

2. 加载数据

# 波士顿房价(经典回归数据集)
data = load_boston()
X = pd.DataFrame(data.data, columns=data.feature_names)
y = data.target

print("特征数量:", X.shape[1])
print("样本数量:", X.shape[0])
X.head()

3. 查看特征相关性

plt.figure(figsize=(12, 8))
corr = pd.concat([X, y], axis=1).corr()
sns.heatmap(corr, annot=True, cmap='coolwarm', fmt='.2f')
plt.title('特征相关性热力图')
plt.show()

4. 标准化(Lasso 必须做)

scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

X_train, X_test, y_train, y_test = train_test_split(
    X_scaled, y, test_size=0.2, random_state=42
)

5. Lasso 嵌入法训练(自动特征选择)

# Lasso 自带嵌入特征选择
lasso = Lasso(alpha=0.1, random_state=42)
lasso.fit(X_train, y_train)

# 查看特征系数
coef_df = pd.DataFrame({
    'feature': X.columns,
    'coef': lasso.coef_
}).sort_values(by='coef', ascending=False)

print("=== 特征权重(越大越重要)===")
print(coef_df)

6. 可视化特征权重

plt.figure(figsize=(12, 5))
sns.barplot(x='feature', y='coef', data=coef_df)
plt.xticks(rotation=45)
plt.title('Lasso 特征权重(嵌入法筛选)')
plt.tight_layout()
plt.show()

7. 自动筛选重要特征

# 自动选重要特征
sfm = SelectFromModel(lasso, threshold='mean')
X_train_selected = sfm.fit_transform(X_train, y_train)
X_test_selected = sfm.transform(X_test)

# 查看哪些被选中
selected = X.columns[sfm.get_support()]
print("=== 嵌入法筛选后的特征 ===")
print(selected.tolist())
print(f"从 {X.shape[1]} 个 → 筛选到 {len(selected)} 个")

8. 用筛选后的特征建模

# 重新训练
lasso_final = Lasso(alpha=0.1)
lasso_final.fit(X_train_selected, y_train)

y_pred = lasso_final.predict(X_test_selected)

mse = mean_squared_error(y_test, y_pred)
r2 = r2_score(y_test, y_pred)

print("===== 模型效果 =====")
print(f"MSE: {mse:.4f}")
print(f"R2: {r2:.4f}")

9. 真实值 vs 预测值

plt.figure(figsize=(10, 5))
plt.scatter(y_test, y_pred, alpha=0.7)
plt.plot([y.min(), y.max()], [y.min(), y.max()], 'r--')
plt.xlabel('真实房价')
plt.ylabel('预测房价')
plt.title('嵌入法筛选后模型效果')
plt.show()

10. 自动找最优 α

param = {'alpha': np.logspace(-4, 0, 30)}
grid = GridSearchCV(Lasso(), param, cv=5, scoring='neg_mean_squared_error')
grid.fit(X_train, y_train)

print("最优 alpha:", grid.best_params_['alpha'])

八、嵌入法的优点

  1. 训练+筛选一步完成
  2. 自动防过拟合
  3. 高维数据非常好用
  4. 工业界最常用
  5. 可解释性强(看权重就知道谁重要)

九、嵌入法的缺点

  1. 依赖模型
  2. Lasso 只适合线性关系
  3. 必须标准化
  4. 多重共线性下会随机删特征

十、三种特征选择方法对比(必考)

方法方式速度效果
过滤法 Filter先统计筛选 → 再训练最快一般
包裹法 Wrapper反复训练筛选最慢最好
嵌入法 Embedded训练时自动筛选快很好

十一、什么时候必须用嵌入法?

  • 特征多、维度高
  • 希望训练+筛选一步完成
  • 做论文、做实验、写报告
  • 工程上线模型(速度快、稳定)
  • 需要可解释特征

十二、最简单总结(背诵版)

  • 嵌入法 = 模型训练时自动筛选特征
  • 最常用:Lasso(L1)
  • 特征权重 = 0 → 删除
  • 优点:快、稳、防过拟合、一步到位
  • 适合:高维数据、论文、工程建模
特征选择--Filter过滤法,Embedded嵌入法,包装法 过滤方法通常用做预处理步骤,特征选择完全独立于任何机器学习算法。是根据各种统计检验中的分数以及相关性的各项指标来选择特征的...... 阅读详情

相关推荐

免费搞定DWG转DXF:ODA File Converter保姆级配置指南(附常见报错解决)

本文详细介绍了如何使用ODA File Converter免费工具实现DWG到DXF的格式转换,包括环境配置、命令行参数解析、编程集成方案及常见问题解决。特别针对网络访问异常、参数配置等实际痛点提供应对策略,帮助用户高效完成工程设计文件的格式转换。

weixin_29291185的博客 6072

特征工程之特征选择(4)----嵌入法(Embed)

文章目录

weixin_43776305的博客 1万+

STM32H743实战(三)-- 时钟系统配置

本文详细讲解了STM32H743时钟系统的配置方法,重点解析了为何选择400MHz而非理论极限480MHz作为稳定运行的主频。通过STM32CubeIDE环境,手把手指导如何从外部晶振配置、电源电压设置到PLL锁相环参数调整,最终实现稳定可靠的400MHz系统时钟,并提供了代码验证与常见问题排查指南。

weixin_29164185的博客 371

特征选择-嵌入法、包装法 —— from 菜菜机器学习

包装法也是一个特征选择和算法训练同时进行的方法,与嵌入法类似,不同的是,包装法并不是自己输入某个评估指标或统计量的阈值。包装法在初始特征平台上训练评估器,并且通过coef_ 属性或feature_importances_属性获得每个特征的重要性。然后从当前的一组特征中修剪掉最不重要的特征,在修剪的集合上递归重复该过程,直到最终到达所需数量的要选择的特征。

talle2021的博客 2059

Design Compiler时序约束实战:如何用set_clock_uncertainty解决时钟抖动问题?

本文深入探讨了在Design Compiler时序约束实战中,如何精准运用set_clock_uncertainty命令解决时钟抖动等非理想性问题。文章详细解析了该命令在时钟树综合前后的不同应用策略、建立时间与保持时间的差异化设置,并对比了其与set_clock_jitter的适用场景,旨在帮助数字IC设计工程师制定稳健的时序约束,为后端物理实现预留合理的安全裕量,从而高效达成时序收敛。

weixin_29196891的博客 304

告别Nginx原始日志!VictoriaLogs+Grafana构建企业级应用日志分析平台实战

描述:做为一个合格的运维工程师,在面对企业安全运维管理中,日志审计是一项非常重要的工作。授人以鱼不如授人以渔,各位运友们可参照作者的方案设计,在自己的项目中根据实际情况调整落地,例如,不在仅仅采集 NGINX 应用日志,而是采集 Apache、Tomcat、SpringBoot 等多种应用服务器的日志,又如,不再仅仅采集网络设备、安全审计审计日志,而是 Windows、Linux 等多种操作系统的审计日志等,大家可充分发挥想象、实践能力,也欢迎大家在知识星球中分享自己的方案设计,一起交流学习。

全栈工程师修炼指南-IT知识分享 2482

特征选择:嵌入法---《菜菜机器学习笔记》

嵌入法: 1、概念 嵌入法是一种让算法自己决定使用哪些特征的方法,即特征选择和算法训练同时进行。在使用嵌入法时,我们先使用某些机器学习的算法和模型进行训练,得到各个特征的权值系数,根据权值系数从大到小选择特征。这些权值系数往往代表了特征对于模型的某种贡献或某种重要性,比如决策树和树的集成模型中的feature_importances_属性,可以列出各个特征对树的建立的贡献,我们就可以基于这种贡献的评估,找出对模型建立最有用的特征。因此相比于过滤法,嵌入法的结果会更加精确到模型的效用本身,对于提高模型效力

weixin_41395763的博客 3376

彻底清理Easy Connect残留:从服务到驱动的完整卸载指南

在企业网络接入场景中,远程客户端常因内核驱动、系统服务和网络过滤组件导致卸载残留,进程无法结束、文件被锁定、注册表项顽固存在。其原理在于驱动挂载网络协议栈,服务守护进程,卸载时资源占用导致清理不彻底。彻底清理的技术价值在于恢复系统纯净、避免网络异常和软件冲突。典型应用场景包括企业办公机、个人笔记本更换或重装客户端。本文针对深信服Easy Connect,提供从停止服务、删除驱动到清理注册表和虚拟网卡的分步操作链路,并给出验证方法和避坑经验。

weixin_31292729的博客 254

特征选择与特征提取-嵌入法、包装法

在上篇特征选择与提取最全总结之过滤法中已经介绍了特征选择的其中一大方法--过滤法。本篇将继续介绍特征选择与特征提取方法,其主要内容如下所示。嵌入法嵌入法是一种让算法自己决定使用哪些特征的方法,即特征选择和算法训练同时进行。在使用嵌入法时,我们先使用某些机器学习的算法和模型进行训练,得到各个特征的权值系数,根据权值系数从大到小选择特征。这些权值系数往往代表了特征对于模型的某种贡献或某种重要性,比如决策树和树的集成模型中的 feature_importances_ 属性,可以列出各个特征对树的建立的贡献,我们就

lihe的博客 3267

WhatsApp网页版扫码分析

扫码登录本质上是WhatsApp的多设备登录,设备之间可以独立运行,那么当我们首次通过WhatsApp扫码登录二维码时,到底发生了那些事情?交换了那些数据?

SocialMarketing的博客 5232

36、基于启发式的双向RRT*路径规划算法解析

本文介绍了一种基于启发式的双向RRT*路径规划算法(LGHB-RRT*),通过地图预处理、通道区域提取和通道识别点定义,结合随机树的引导生长与可变密度采样机制,显著提升了在复杂通道环境下的搜索效率与成功率。算法采用双向扩展结构,并引入启发式生长策略引导树向通道关键点发展,同时利用路径优化简化最终路径。仿真结果表明,该算法在多种复杂地图中均能高效找到最优路径,优于传统RRT*和Bi-RRT*算法,具备良好的适应性与应用前景。

rgv234567的博客 122

【机器学习】特征选择方法总结

【机器学习】特征选择方法总结

wzk4869的博客 7300

在 SAP ABAP 生态中偏爱面向对象,而不是过程式堆叠

本文探讨了ABAP开发中过程式与面向对象编程的共存现状及优化方向。文章指出,虽然过程式编程在ABAP中仍广泛存在,但随着业务复杂度提升,面向对象编程在可维护性、可测试性和重构便利性方面展现出明显优势。作者建议将过程式代码作为"适配层",仅负责输入输出转换,而将核心业务逻辑封装在类中。文章通过实际案例展示了这种架构如何提高交付效率,并提供了将Function Module转化为"薄包装"的具体实现方案,强调面向对象设计在SAP Gateway和RAP等现代架构中的重要性

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 139

【机器学习】【特征选择】4.嵌入法Embedded

Embedded嵌入法 嵌入法是一种让算法自己决定使用哪些特征的方法,即特征选择和算法训练同时进行 先使 用某些机器学习的算法和模型进行训练,得到各个特征的权值系数,根据权值系数从大到小选择特征 这些权值系数往往代表了特征对于模型的某种贡献或某种重要性 这些权值系 数往往代表了特征对于模型的某种贡献或某种重要性 缺点 过滤法中使用的统计量可以使用统计知识和常识来查找范围(如p值应当低于显著性水平0.05), 而嵌入法中使用 的权值系数却没有这样的范围可找 或许需要学习曲线,或者根据模型本身的某些性质去判断这

chentao326的博客 7426

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Python 三种方法对数据进行特征选择

关注微信公共号:小程在线 关注优快云博客:程志伟的博客 特征选择:Filter过滤法、Embedded嵌入法、Wrapper包装法 特征选择选取高维度进行数据处理 ##############特征选择 feature_selection################# import pandas as pd data = pd.read_csv(r"H:\程志伟\python\digit...

程志伟的博客 6557

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

特征选择

通常从两个方面考虑来选择特征: 特征是否发散:如果说一个特征不发散(比如方差接近于0),样本在这个特征上基本没有差异,那么这个特征对于样本的区分并没有什么作用 特征与目标的相关性 根据特征选择的形式,可以将特征选择方法分为3种: 1)Filter过滤法:先进行特征选择,再训练学习器,特征选择过程与后续学习器无关。 方差选择法:先计算各特征方差,设置方差阈值筛选 相关系数法:先计算各特征目...

ximibbb的博客 986

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

机器学习中特征选择的方法综述

本文摘自知乎用户文章的第三章节,源出处地址:作者:城东链接:https://www.zhihu.com/question/28641663/answer/110165221来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。当数据预处理完成后,我们需要从所有特征中选择有意义的特征,并将其输入机器学习算法和模型进行训练。通常来说,从以下两个方面考虑来选择特征:(1)特征是否...

Little_Fire的博客 2033

sklearn特征的选择

特征工程 数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上 限而已。根据特征使用方案,有计划地获取、处理和监控数据和特征的工作称之为特征工程,目的是 最大限度地从原始数据中提取特征以供算法和模型使用。 根据特征选择的形式又可以将特征选择方法分为3种: 用sklearn中的feature_selection库来进行特征选择 Filter: 过滤法:按照发散性或者相关性对各个特征进行评分...

微信号:RunsenLiu 1113

利用sklearn进行特征选择

3种特征选择 Filter 过滤法,按照发散性或者相关性对各个特征进行评分,设定阈值或者待选择阈值的个数,选择特征。 (先对数据集进行特征选择,然后再训练学习器) Wrapper 包装法,根据目标函数(通常是预测效果评分),每次选择若干特征,或者排除若干特征。 (给定学习器选择最有利于其性能、“量身定做”的特征子集) Embedded 嵌入法,先使用某些机器学习的算法和模型进行训练,得到各个特征的...

weixin_43496455的博客 6471

数据挖掘的五大流程、sklearn中常用的模块介绍、数据预处理、特征选择(过滤法+Embedded嵌入法+Wrapper包装法)

文章目录1、数据挖掘的五大流程:1.1获取数据1.2数据预处理1.3 特征工程:1.4 建模,测试模型并预测出结果1.5 上线,验证模型效果2、sklearn中的数据预处理和特征工程3、数据预处理 Preprocessing & Impute3.1 数据无量纲化·preprocessing.MinMaxScalerpreprocessing.StandardScalerStandardScaler和MinMaxScaler选哪个?3.2 缺失值impute.SimpleImputer3.3 处理分类

weixin_51589123的博客 1710

机器学习之特征选择 (feature_selection)

转载https://www.cnblogs.com/stevenlk/tag/%E7%89%B9%E5%BE%81%E5%B7%A5%E7%A8%8B/ 目录 特征选择 (feature_selection) Filter 1. 移除低方差的特征 (Removing features with low variance) 2. 单变量特征选择 (Univariate featu...

爱吃串串的瘦子的博客 6940

【数据平台】sklearn库特征工程之特征选择和降维

1、特征选择 当数据预处理完成后,我们需要选择有意义的特征输入机器学习的算法和模型进行训练。通常来说,从两个方面考虑来选择特征: 特征是否发散:如果一个特征不发散,例如方差接近于0,也就是说样本在这个特征上基本上没有差异,这个特征对于样本的区分并没有什么用。特征与目标的相关性:这点比较显见,与目标相关性高的特征,应当优选选择。除方差法外,本文介绍的其他方法均从相关性考虑。   根据特

医疗影像检索 1211

特征选择 (feature_selection)

当数据预处理完成后,我们需要选择有意义的特征输入机器学习的算法和模型进行训练。通常来说,从两个方面考虑来选择特征: 特征是否发散:如果一个特征不发散,例如方差接近于0,也就是说样本在这个特征上基本上没有差异,这个特征对于样本的区分并没有什么用。特征与目标的相关性:这点比较显见,与目标相关性高的特征,应当优选选择。除移除低方差法外,本文介绍的其他方法均从相关性考虑。 根据特征选择的形式又

大数据训练营 2万+

特征选择方法_scikit-learn中的特征选择方法

根据特征选择的形式可以将特征选择方法分为3种:Filter:过滤法,按照发散性或者相关性对各个特征进行评分,设定阈值或者待选择阈值的个数,选择特征。Wrapper:包装法,根据目标函数(通常是预测效果评分),每次选择若干特征,或者排除若干特征。Embedded:嵌入法,先使用某些机器学习的算法和模型进行训练,得到各个特征的权值系数,根据系数从大到小选择特征。类似于Filter方法,但是是通过训练来...

weixin_39678531的博客 1466
上一篇: 【特征选择】基于树模型的特征选择
下一篇: 【特征选择】相关系数法
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值