Shapley Explanation Networks

最新推荐文章于 2024-12-30 16:10:33 发布
原创 最新推荐文章于 2024-12-30 16:10:33 发布 · 705 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

《ShapleyExplanation Networks》论文探讨了如何使用Shapley值来解决神经网络可解释性的挑战。Shapley值源自博弈论，用于评估特征重要性，但其计算复杂度高。文章指出现有方法仅能事后分析，无法直接改进模型。研究目标在于通过近似方法降低计算复杂度，并利用Shapley值指导网络正则化和剪枝，直接优化模型。

作者：18届 cyl

日期：2021-08-15

论文：《Shapley Explanation

Networks》

期刊：ICLR

一、前提知识：Shapley Value

Shapley Value起源于博弈论，n人合作，共创造了v(N)的价值，如何评估每个人的价值？通过计算每个
人的Shapley value。
公式：
在这里插入图片描述
在这里插入图片描述
特点：

  1. 可以评估一组特征的重要性
  2. 计算复杂的是指数级别
  3. 可以进行线性变换，对一个函数求了shapley值，如果函数再进行线性变换，可以通过对原
    shapley值进行线性变换求新的shapley值。

二、背景

神经网络的可解释性是待解决的重要问题，其中了解每个特征的重要性是提高可解释性的一个方向。
在博弈论中提出的Shapley值是评估组成元素重要性的一个方法，并且shapley值已经被应用到了机器学
习领域，但是存在两个问题：
（1）由于Shapley值计算方法本身的特点，它的时间复杂度是指数级别的；
（2）目前的分析方法都是“事后”的，即模型已经构建完成了，对模型计算shapley值，这样一来消耗时

最低0.47元/天 解锁文章
物联网网络中可解释的深度学习入侵检测An explainable deep learning-enabled intrusion detection framework in IoT networks
风口IT猪的成长录
05-27 488
尽管可解释人工智能(XAI)领域近来备受关注，但其在网络安全应用中的实现仍需要进一步研究，以了解其在发现攻击面和向量方面的有效性。在网络防御中，特别是基于异常的入侵检测系统(IDS)，。本文提出了一种新颖的可解释的物联网（IoT）网络入侵检测框架。我们开发了一种 IDS，使用短期长记忆 (LSTM) 模型来识别网络攻击并解释模型的决策。
AI人工智能领域回归：探索智能技术的新路径
最新发布
欢迎来到我的优快云空间！这里聚焦AI大模型应用实战，分享前沿技术、实战案例与开发经验。
06-09 987
本文旨在系统性地探讨人工智能技术从早期发展到当前"回归"趋势的全过程。人工智能技术发展的历史脉络当前技术"回归"现象的本质和驱动因素新型智能技术的核心原理和实现方法实际应用场景和未来发展方向本文范围涵盖从基础理论到工程实践的完整知识体系，适合希望深入理解AI技术演进的专业人士。首先介绍背景和核心概念深入分析算法原理和数学模型通过实际案例展示应用方法讨论工具资源和未来趋势提供扩展学习和参考资料人工智能(AI): 模拟人类智能行为的计算机系统机器学习(ML)
ShapleyExplanationNetworks:论文“ Shapley解释网络”的实施
05-27
Shapley解释网络 ICLR 2021上的论文的实现。请注意，此仓库大量使用了PyTorch中的实验功能。 由于为作者实现这些想法确实令人困惑，因此我们发现使用此功能非常容易。 依存关系 仅运行ShapNet，大多数人只需要PyTorch，NumPy和SciPy。 用法 对于Shapley模块： import torch import torch . nn as nn from ShapNet . utils import ModuleDimensions from ShapNet import ShapleyModule b_size = 3 features = 4 out = 1 dims = ModuleDimensions ( features = features , in_channel = 1 , out_channel = out ) sm
ICLR 2021 | 自解释神经网络—Shapley Explanation Networks
阿木寺的博客
01-20 2092
点击上方“CVer”，选择加"星标"置顶重磅干货，第一时间送达本文作者：王睿| 来源：知乎（已授权）https://zhuanlan.zhihu.com/p/345...
【可解释性机器学习】可解释机器学习简介与特征选择方法
小哲的博客
01-12 1870
`Explainable ML`要求模型不但要给出结果，还要对结果背后的原因做出解释。这种解释可以分为`Local Explanation`、`Global Explanation`、用另一种Explainable的模型来Explanation等方法。
fastshap：在R中快速近似Shapley值
02-28
快餐 fastshap的目标是提供一种高效且快速（相对于其他实现）的方法来计算近似Shapley值，这有助于解释机器学习模型的预测。 安装 # Install the latest stable version from CRAN: install.packages( " fastshap " ) # Install the latest development version from GitHub: if ( ! requireNamespace( " remotes " )) { install.packages( " remotes " ) } remotes :: install_github( " bgreenwell/fastshap " )
初窥Shapley Values
剥石榴
06-17 1454
Table of ContentIntroShapley Additive ExplanationsDefinitionShapley ValuesDefinitionExample for General IdeaAxioms of Shapley ValueSymmetryDummy Players(free rider)AdditivityTheorem of Shapley Value(and Calculation)Interpretation of the formula Intro 从同事那里
Explaining Deep Neural Networks
pixian3729的博客
10-24 1551
Explaining Deep Neural Networks 翻译一下牛津小姐姐这这篇优秀的博士论文，可以大致当做一篇综述来看，如果有翻译不好的地方，请大家多多指点 附上论文地址 https://arxiv.org/pdf/2010.01496.pdf ???????????? 文章目录Explaining Deep Neural Networks????????????摘要第一章 简介1.1 解释深度神经网络的重要性1.2 研究问题及大纲第二章 深度神经网络解释的背景知识2.1 记号2.2 解释性方
近似的Sharpley估计
彬彬侠的博客
12-30 2126
近似的Shapley估计（Approximate Shapley Estimation）是一种用于评估特征对模型预测贡献的方法，尤其在处理复杂模型（如集成模型、深度学习模型）时，计算精确的Shapley值可能非常耗时。因此，采用近似方法能够在保证合理精度的同时，显著降低计算成本。本文还给出了常见的近似Shapley估计算法，Python中实现近似Shapley估计的方法，应用示例和注意事项与最佳实践。
可解释性机器学习：从入门到实战
林夕
12-18 1万+
机器学习的巨大成功导致AI应用的爆炸式增长。 研究人员已经将AI用于了各种任务。 不断持续的进步有望产生一个自主系统，它能够感知，学习，做出决策和采取独立行动。 但是，这些系统如果无法向人类解释为何作出这样的决策，那么它们的有效性将会受到限制。如果用户要理解，信任和有效管理新兴的人工智能”合作伙伴“，那么可解释的AI将至关重要。
Shapley值法介绍及实例计算
热门推荐
luzaijiaoxia0618的博客
02-27 6万+
Shapley值法 Shapley值法是Shapley L.S于1953年提出，为解决多个局中人在合作过程中因利益分配而产生矛盾的问题，属于合作博弈领域。应用 Shapley 值的一大优势是按照成员对联盟的边际贡献率将利益进行分配，即成员 i 所分得的利益等于该成员为他所参与联盟创造的边际利益的平均值。 一、 Shapley值法解析 （一）符号定义 （1）n、N：假设合作博弈系统内有n个成员，由N...
机器学习模型解释性之Shapley Value
weixin_41965572的博客
04-08 3万+
机器学习现在是以迅雷不及盗铃之势席卷了几乎所有科技、商业、医疗、生活领域，基于gbdt的各种优化以及ensemble横扫所有数据竞赛，cnn则是霸榜图像领域。看起来，时代已经变了。但，等等，还有一个问题，设想一下，当你的模型用于医疗领域，你用了一个极深的神经网络，然后告诉用户很可能得了癌症，那么，为什么呢？为什么要相信你呢？你是不是应该给出一个合理的解释呢？你该如何给出一个合理的解释呢？（另一个相...
【源码】基于遍历抽样的Shapley值估计
weixin_42825609的博客
02-03 652
Castro等人(2009)介绍了用随机抽样逼近n人博弈的Shapley值的思想，并由Maleki(2013)等人进一步改进和Castro等人于2017年还提出了分层的方法。 The idea of approximating the Shapley value of an n-person game by random sampling was introduced by Castro et ...
SHAP (SHapley Additive exPlanations)
全性保真，不以物累形。
12-06 2万+
Interpretable Machine Learning（2）——SHAP
模型可解释性-SHAPE
数据掘金
09-09 1万+
SHAP，最早由加州大学洛杉矶分校（UCLA）的教授 Lloyd Shapley 提出，主要是用来解决合作博弈论中的分配均衡问题。Lloyd Shapley 是 2012 年的诺贝尔经济学奖获得者，也是博弈论领域的无冕之王。SHAP， 全称是 SHapley Additive exPlanation，属于模型事后解释的方法，可以对复杂机器学习模型进行解释，其中各个单词的意义为： SHapley：代表对每个样本中的每一个特征变量，都计算出它的 Shapley Value。 Additive...
shapley值法初学入门详细介绍
u011089523的博客
10-31 5万+
一、什么是shapley值法？ shapley值法是指所得与自己的贡献相等，是一种分配方式。普遍用于经济活动中的利益合理分配等问题。最早由美国洛杉矶加州大学教授罗伊德·夏普利（Lloyd Shapley）提出。shapley值法的提出给合作博弈在理论上的重要突破及其以后的发展带来了重大影响。 简单的来说就是使分配问题更加的合理，用于为分配问题提供一种合理的方式。例如，价值链利益分配问题
ICML'21 | 基于子图结构的GNN解释模型
weixin_45519842的博客
06-02 2072
fig0论文标题：On Explainability of Graph Neural Networks via Subgraph Explorations论文地址：https://arxi...
SHAP
03-26
### SHAP Library in Machine Learning Explanation SHAP (SHapley Additive exPlanations) is a game-theoretic approach used to explain the output of any machine learning model by attributing each feature's contribution to the prediction. It connects optimal credit allocation with local explanations using the classic Shapley values from game theory and their related extensions. The SHAP library provides tools that allow users to compute these contributions efficiently for various types of models, including tree-based methods like XGBoost or LightGBM as well as deep neural networks. The key advantage of SHAP lies in its ability to provide consistent and locally accurate explanations while ensuring global consistency across all predictions made by the model[^1]. Below are some important aspects regarding how it works: #### Key Features - **Shapley Values**: These represent the average marginal contribution of one feature value over all possible coalitions when considering other features' combinations. - **Force Plots**: Visualizations showing individual instance-level impacts where positive/negative effects on predicted outcomes can be observed clearly via horizontal bar charts representing different input variables’ influence scores. - **Summary Plot**: Provides an overview plot summarizing which factors have significant importance within your dataset based upon absolute mean(|SHAP|). Here’s an example demonstrating usage with scikit-learn Random Forest Classifier: ```python import shap from sklearn.model_selection import train_test_split from sklearn.ensemble import RandomForestClassifier X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.2) model = RandomForestClassifier() model.fit(X_train, y_train) explainer = shap.TreeExplainer(model) shap_values = explainer.shap_values(X_test) # Displaying force plots for first test sample shap.initjs() shap.force_plot(explainer.expected_value[1], shap_values[1][0,:], X_test.iloc[0,:]) ``` This code snippet initializes JS rendering capabilities before plotting out interactive visual representations such as ForcePlot showcasing specific samples alongside overall trends through SummaryPlots etc., thus enhancing transparency into complex black-box systems effectively.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

中南大学苹果实验室

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值