特征重要性排序--Permutation Importance

最新推荐文章于 2025-09-17 13:44:45 发布
原创 最新推荐文章于 2025-09-17 13:44:45 发布 · 1.4w 阅读 · 83 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习

PermutationImportance是一种计算特征重要性的方法，具有计算量小、易于理解和与目标一致的优点。它在模型训练后进行，通过打乱验证集中某一特征的数据来观察模型预测精度的变化，以此评估特征的重要性。例如，当第二列数据被打乱后，如果预测精度大幅下降，说明该特征对模型预测至关重要。实现过程包括训练模型、对特征列进行打乱、评估预测精度变化。在小数据集上，有时会观察到负的特征重要性，意味着在某些情况下，打乱数据可能导致预测更准确，这通常是因为随机性。为了减小随机性的影响，可以多次重复此过程。

特征重要性排序–Permutation Importance

参考：Permutation Importance | Kaggle

相比于其他衡量特征重要性的方法，Permutation Importance的优点：

  • 计算量低
  • 广泛使用和容易理解
  • 与我们要测量特征重要性的属性一致

Permutation Importance的计算是在模型训练完成后进行的，即，模型参数不再改变。如果我们将验证集中的单独一列的数据进行打乱，并保持其他列和目标值不变，那么，预测打乱后的验证集的结果会怎么变化？
在这里插入图片描述

上图示例是将第二列的数据进行shaffle，如果模型预测对该列特征的依赖性很大，那么打乱后，预测精度会受到很大的影响。

具体实施流程：

  1. 训练模型
  2. 打乱其中一列的数据，用该数据集进行预测，评估预测精度下降来提现该特征变量的重要性
  3. 将验证数据集还原，并重复第二步，分析其他特征变量

代码示例：

import numpy as np
import pandas
最低0.47元/天 解锁文章
机器学习特征重要性之feature_importances_属性与permutation_importance方法
一叶_障目
01-09 1251
在机器学习中，分类和回归算法的属性用于衡量每个特征对模型预测的重要性。这个属性通常在基于树的算法中使用，通过属性，您可以了解哪些特征对模型的预测最为重要，从而可以进行特征选择或特征工程，以提高模型的性能和解释性。
排列特征重要性（Permutation Feature Importance）
数字人生
04-15 1610
5个条件判断一件事情是否发生，每个条件可能性只有2种（发生或者不发生），计算每个条件对这件事情发生的影响力。排列特征重要性模型的程序。
PermutationImportance
平平淡淡，戒急用忍，一生学闭嘴。
03-16 1284
我们在构建树类模型（XGBoost、LightGBM等）时，如果想要知道哪些变量比较重要的话。可以通过模型的feature_importances_ 方法来获取特征重要性。例如LightGBM的feature_importances_可以通过特征的分裂次数或利用该特征分裂后的增益来衡量。一般情况下，不同的衡量准则得到的特征重要性顺序会有差异。我一般是通过多种评价标准来交叉选择特征。博主认为，若一个特征在不同的评价标准下都是比较重要的，那么该特征对label有较好的预测能力。 为大家介绍一种评价特征重要性的方
【机器学习特征工程系列-02】特征重要性：为什么它对模型至关重要？
最新发布
qq_38614074的博客
09-17 993
特征重要性是指每个特征在模型中的贡献程度。不同的模型有不同的方法来评估特征重要性。例如，决策树模型可以通过特征分裂的次数来评估特征重要性，而线性模型可以通过特征的系数大小来评估特征重要性。特征重要性是评估特征对模型预测能力贡献的一个关键指标。通过评估特征重要性，我们可以选择对模型最有帮助的特征，从而提高模型的性能、减少计算成本并提高模型的可解释性。在本文中，我们展示了如何使用随机森林、方差分析和XGBoost来评估特征重要性。希望这些方法能帮助你在实际项目中更好地理解和应用特征重要性。
用xgboost模型对特征重要性进行排序
热门推荐
waitingzby的博客
08-12 10万+
用xgboost模型对特征重要性进行排序 在这篇文章中，你将会学习到： xgboost对预测模型特征重要性排序的原理（即为什么xgboost可以对预测模型特征重要性进行排序）。 如何绘制xgboost模型得到的特征重要性条形图。 如何根据xgboost模型得到的特征重要性，在scikit-learn进行特征选择。   梯度提升算法是如何计算特征重要性的？ 使用梯度提升算法的好处是在提升...
机器学习：特征重要性分析之：Permutation Importance
YuMeng049的博客
10-09 2175
特征重要性分析
【可解释性机器学习】排列重要性（Permutation Importance）及案例分析详解
小哲的博客
01-28 1万+
当训练得到一个模型之后，除了对模型的预测感兴趣之外，我们往往还想知道模型中哪些特征更重要，哪些特征对对预测结果的影响最大。
特征筛选还在用XGB的Feature Importance？试试Permutation Importance
Python学习与数据挖掘
10-01 2148
Permutation Importance 是一种变量筛选的方法。它有效地解决了上述提到的两个问题。Permutation Importance 将变量随机打乱来破坏变量和 y 原有的关系。如果打乱一个变量显著增加了模型在验证集上的loss，说明该变量很重要。如果打乱一个变量对模型在验证集上的 loss 没有影响，甚至还降低了 loss，那么说明该变量对模型不重要，甚至是有害的。▲ 打乱变量示例变量重要性的具体计算步骤如下：1. 将数据分为 train 和 validation 两个数据集。
Scikit-Learn 1.4使用指南：检查 排列特征重要性
数智笔记
02-07 1039
输入：已拟合的预测模型mmm，表格数据集（训练或验证）DDD。计算模型mmm在数据DDD上的参考得分sss（例如分类器的准确性或回归器的R2R^2R2对于每个特征jjjDDD的列）：对于重复次数kkk在1K1...K随机打乱数据集DDD的列jjj，生成一个名为DkjDkj​的损坏数据的版本。计算模型mmm在损坏数据DkjDkj​上的得分skjs_{k,j}skj​。计算特征fjf_jfj​。
2、排列重要性 Permutation Importance
AI算法蒋同学的博客
02-03 1390
对于模型来说，我们可能会问的最基本的一个问题是：哪些特征对预测影响最大？这个概念被称为特征重要性。有多种方法可以衡量特征重要性。一些方法回答了上面提到的问题的微妙不同版本。其他方法已经记录了一些缺点。在本课程中，我们将专注于排列重要性。计算速度快，被广泛使用和理解，与我们希望特征重要性度量具有的属性一致。
Permutation Importance及其实现原理及python代码
.
06-19 1626
这个方法的基本思想是通过随机打乱单个特征，来破坏特征和标签之间的关系，观察模型准确率对特征变化的影响程度，从而得到特征的重要性排名。重复执行上述操作多次，得到每个特征的score2的平均值avg_score2，用score1减去avg_score2，就得到了每个特征的Permutation Importance。然后，随机置换一个特征F的所有样本数值，即将样本集X中的该特征F打乱顺序，得到新的样本集X′，再将新的样本集X′输入分类器clf中，计算得到新的预测结果score2。
PermutationImportance:在此笔记本中，我实现了置换的重要性，并将其与Eli5库中的版本进行比较
03-26
PermutationImportance:在此笔记本中，我实现了置换的重要性，并将其与Eli5库中的版本进行比较
Python库 | PermutationImportance-1.2.1.5.tar.gz
05-20
资源分类：Python库 所属语言：Python 资源全名：PermutationImportance-1.2.1.5.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.youkuaiyun.com/article/details/101784059
特征输出重要性的排序
weixin_43615654的博客
11-27 5369
几个参考： 模型输出特征重要性排序 在 Python 中使用 XGBoost 的特征重要性和特征选择 关于seaborn作图 barplot&countplot&pointplot Python Seaborn综合指南 1.用matplotlib import pandas as pd from xgboost import XGBClassifier from xgboost i...
MATLAB中SVM的特征重要性排序
Jinzhong_Kang的博客
12-01 1万+
MATLAB中可以通过支持向量机递归特征消除（Support Vector Machine Recursive Feature Elimination ：SVM-RFE）来获得SVM的特征重要性排序！！！ SVM-RFE算法是根据SVM在训练时生成的权向量w来构造排序系数，每次迭代去掉一个排序系数最小的特征属性，最终得到所有特征属性的递减顺序的排序。 经典的SV...
可解释性机器学习_Feature Importance、Permutation Importance、SHAP
李梦瑶的博客
11-24 2万+
本文讲的都是建模后的可解释性方法。建模之前可解释性方法或者使用本身具备可解释性的模型都不在本文范围内~ 哪些特征在模型看到是最重要的？ 关于某一条记录的预测，每一个特征是如何影响到最终的预测结果的？ 从大量的记录整体来考虑，每一个特征如何影响模型的预测的？ 为什么这些解释信息是有价值的 调试模型用 指导工程师做特征工程 指导数据采集的方向 指导人们做决策 建立模型和人之间的信任 本文主要讲三种方法： 特征重要性（Feature Importance） Permutation Importance SHAP
特征选择之特征重要性排序（基于树模型）
踏入代码与智能交织的奇妙世界，我是小辉同志。在这片技术天地里，C++ 是我探索底层逻辑、雕琢高效算法的利刃，每一段精心编写的代码都是通往优化之路的基石。而人工智能，则宛如闪耀星辰，引领我不断钻研机器学习、深度学习等前沿领域，探寻智能的奥秘。
03-07 565
特征选择在机器学习中起着至关重要的作用，它能够帮助我们理解哪些特征对于模型的预测起到关键作用，从而提高模型的泛化能力和解释性。在基于树模型的特征选择中，特征重要性排序是一种常用的方法，通过评估每个特征对模型预测结果的贡献程度来进行排序。通过对特征重要性进行排序，我们可以快速识别哪些特征对模型性能的提升具有重要作用，进而在模型训练的过程中更加关注和优化这些重要特征。
可解释性机器学习--2. Permutation Importance
weixin_41698730的博客
02-20 1907
特征重要性：对模型预测结果影响最大的特征 有许多方法可以判段特征的重要性，但是排列的重要性： - fast to calculate, - widely used and understood, and - consistent with properties we would want a feature importance measure to have.
Permutation Importance: 了解特征重要性的一种方法及其计算
2301_79366332的博客
09-14 912
Permutation Importance（排列重要性）是一种用于计算特征重要性的技术，它提供了一种相对简单且直观的方法来评估特征对模型的贡献程度。Permutation Importance的基本思想是通过对特征进行随机排列并度量模型性能的变化，来评估特征的重要性。它的核心观点是，如果某个特征对模型的预测性能有重要影响，那么将其随机排列将会显著降低模型的准确性。它通过对特征进行随机排列并度量模型性能的变化，提供了一种直观的方式来理解特征对模型的贡献程度。首先，你需要准备一个包含特征和目标变量的数据集。
特征重要性排序实例
08-09
特征重要性排序是机器学习中一个关键的概念，它帮助我们理解模型中哪些特征对预测结果最为重要。以下是一些常见的方法和对应的示例代码，展示了如何在 Python 中实现特征重要性排序。 ### 使用随机森林进行特征重要性排序 随机森林是一种集成学习方法，它可以提供特征重要性的评估。下面是一个使用 `RandomForestRegressor` 的示例： ```python import pandas as pd import matplotlib.pyplot as plt from sklearn.ensemble import RandomForestRegressor # 假设 train_x, train_y, test_x, test_y 已经定义好了 # 创建随机森林回归器实例 rfr = RandomForestRegressor(min_samples_split=6, n_estimators=100) # 训练模型 rfr.fit(train_x, train_y) # 输出模型评分 print(rfr.score(test_x, test_y)) # 将特征重要性转换为 pandas Series 并按重要性排序 feature_important = pd.Series(rfr.feature_importances_, index=housing.feature_names).sort_values(ascending=False) # 绘制条形图显示特征重要性 plt.bar(feature_important.index, feature_important.values) plt.xlabel('Features') plt.ylabel('Importance') plt.title('Feature Importance using Random Forest') plt.xticks(rotation=90) plt.show() ``` ### 使用 XGBoost 进行特征重要性排序 XGBoost 是另一种强大的集成学习方法，同样可以用来评估特征的重要性。以下是使用 XGBoost 的示例代码： ```python from xgboost import XGBRegressor # 创建 XGBoost 回归器实例 xgb = XGBRegressor(n_estimators=100) # 训练模型 xgb.fit(train_x, train_y) # 获取特征重要性 feature_importance = pd.Series(xgb.feature_importances_, index=housing.feature_names).sort_values(ascending=False) # 绘制条形图显示特征重要性 plt.figure(figsize=(10, 6)) plt.barh(feature_importance.index, feature_importance.values) plt.xlabel('Importance') plt.ylabel('Features') plt.title('Feature Importance using XGBoost') plt.gca().invert_yaxis() # 为了从高到低显示特征 plt.show() ``` ### 使用 Permutation Importance 进行特征重要性排序 Permutation Importance 是一种通过打乱特征值来评估特征重要性的方法。如果打乱某个特征的值会导致模型性能显著下降，则说明该特征对模型的预测非常重要。以下是使用 Scikit-Learn 的 `permutation_importance` 函数的示例： ```python from sklearn.inspection import permutation_importance # 使用测试集评估特征重要性 result = permutation_importance(rfr, test_x, test_y, n_repeats=10, random_state=42) # 获取重要性得分 importances = result.importances_mean # 将结果转换为 pandas Series 并排序 feature_importance = pd.Series(importances, index=housing.feature_names).sort_values(ascending=False) # 绘制条形图显示特征重要性 plt.figure(figsize=(10, 6)) plt.barh(feature_importance.index, feature_importance.values) plt.xlabel('Importance') plt.ylabel('Features') plt.title('Permutation Importance') plt.gca().invert_yaxis() plt.show() ``` ### 使用 Merit 公式进行特征重要性排序 根据提供的公式，我们可以手动计算特征的重要性。这个公式考虑了特征与类别的相关性以及特征之间的相关性。下面是这个公式的实现示例： ```python import numpy as np from scipy.stats import pearsonr from sklearn.preprocessing import StandardScaler def calculate_merit(X, y): k = X.shape[1] X_scaled = StandardScaler().fit_transform(X) y_scaled = StandardScaler().fit_transform(y.reshape(-1, 1)).flatten() # 计算特征与目标的相关性 r_cf = [pearsonr(X_scaled[:, i], y_scaled)[0] for i in range(k)] avg_r_cf = np.mean(r_cf) # 计算特征之间的相关性 r_ff = np.corrcoef(X_scaled, rowvar=False) avg_r_ff = (np.sum(r_ff) - k) / (k * (k - 1)) merit = (k * avg_r_cf) / np.sqrt(k + k * (k - 1) * avg_r_ff) return merit # 假设 X 和 y 已经定义好了 merit_score = calculate_merit(train_x, train_y) print(f'Merit Score: {merit_score}') ``` 这些示例展示了不同的方法来计算特征的重要性，并且提供了可视化的方法来展示这些特征的重要性。通过这些方法，可以更好地理解哪些特征对于模型的预测能力最为关键，并据此进行特征选择和模型优化。
评论 6
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值