数据特征重要性： datasets SHAP值计算指南

数据特征重要性：🤗 datasets SHAP值计算指南

【免费下载链接】datasets 🤗 The largest hub of ready-to-use datasets for ML models with fast, easy-to-use and efficient data manipulation tools 项目地址: https://gitcode.com/gh_mirrors/da/datasets

你是否曾困惑于机器学习模型为何做出特定预测？想知道哪些特征对模型决策影响最大？本文将带你使用🤗 datasets结合SHAP（SHapley Additive exPlanations，沙普利加性解释）值，一步步揭示数据特征的重要性，让模型预测不再是"黑箱"。读完本文，你将掌握加载数据集、预处理数据、训练模型、计算SHAP值并可视化分析的完整流程。

什么是SHAP值？

SHAP值基于沙普利值（Shapley Value），用于量化每个特征对模型预测的贡献程度。它能解释：

• 哪些特征推动预测值上升或下降
• 每个特征的相对重要性排序
• 特征与预测结果之间的非线性关系

准备工作

安装必要库

首先确保安装🤗 datasets及相关依赖：

pip install datasets[vision] shap pandas scikit-learn

加载示例数据集

我们使用🤗 datasets加载经典的鸢尾花（Iris）数据集作为演示：

from datasets import load_dataset

# 加载数据集
dataset = load_dataset("scikit-learn/iris", split="train")
# 转换为Pandas格式便于处理
df = dataset.to_pandas()

详细的数据集加载方法可参考官方文档：加载数据集

数据预处理

特征与标签分离

# 分离特征和标签
X = df.drop("target", axis=1)
y = df["target"]

数据集划分

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42
)

使用Pandas进行数据处理的更多技巧可参考：与Pandas协同使用

训练机器学习模型

我们训练一个随机森林分类器作为示例模型：

from sklearn.ensemble import RandomForestClassifier

# 初始化并训练模型
model = RandomForestClassifier(n_estimators=100, random_state=42)
model.fit(X_train, y_train)

计算SHAP值

初始化SHAP解释器

import shap

# 创建解释器
explainer = shap.TreeExplainer(model)
# 计算SHAP值
shap_values = explainer.shap_values(X_test)

SHAP值可视化

摘要图（Summary Plot）

展示所有特征对模型预测的总体影响：

shap.summary_plot(shap_values, X_test, feature_names=X.columns)

依赖图（Dependence Plot）

分析单个特征与模型输出的关系：

# 分析第一个特征的影响
shap.dependence_plot(0, shap_values[1], X_test, feature_names=X.columns)

结果分析

特征重要性排序

从SHAP摘要图中，我们可以直观地看到：

• 特征重要性排序（从顶部到底部）
• 特征值与SHAP值的分布关系
• 特征对预测的正负影响

实例分析

选择一个具体样本，查看各特征如何影响其预测结果：

# 选择第一个测试样本
sample_idx = 0
# 生成力导向图
shap.force_plot(
    explainer.expected_value[1], 
    shap_values[1][sample_idx,:], 
    features=X_test.iloc[sample_idx,:], 
    feature_names=X.columns
)

完整代码示例

from datasets import load_dataset
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
import shap

# 1. 加载数据集
dataset = load_dataset("scikit-learn/iris", split="train")
df = dataset.to_pandas()

# 2. 数据预处理
X = df.drop("target", axis=1)
y = df["target"]
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42
)

# 3. 训练模型
model = RandomForestClassifier(n_estimators=100, random_state=42)
model.fit(X_train, y_train)

# 4. 计算SHAP值
explainer = shap.TreeExplainer(model)
shap_values = explainer.shap_values(X_test)

# 5. 可视化
shap.summary_plot(shap_values, X_test, feature_names=X.columns)
shap.dependence_plot(0, shap_values[1], X_test, feature_names=X.columns)

总结与下一步

通过本文，你已学会使用🤗 datasets结合SHAP值分析特征重要性的完整流程。下一步，你可以尝试：

• 使用不同类型的数据集（如文本、图像）进行分析
• 尝试其他SHAP可视化方法（如瀑布图、决策图）
• 将SHAP分析整合到你的模型开发流程中

更多关于数据集处理的高级技巧，请参考：数据集处理指南

【免费下载链接】datasets 🤗 The largest hub of ready-to-use datasets for ML models with fast, easy-to-use and efficient data manipulation tools 项目地址: https://gitcode.com/gh_mirrors/da/datasets