Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors

最新推荐文章于 2025-10-04 16:42:42 发布
原创 最新推荐文章于 2025-10-04 16:42:42 发布 · 1.6k 阅读 · 15 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#计算机视觉 #大数据 #神经网络

本文介绍了使用概念激活向量(CAV)来解释神经网络模型的决策过程。CAV通过定义概念并利用线性模型检测其对分类器的影响，解决了现有解释方法如saliencymap的局限性。TCAV是一种统计分析工具，用于量化用户定义概念的重要性。文章还探讨了验证CAV有效性的方法，并指出CAV有助于识别算法潜在的歧视问题，提高模型的透明度。

作者：18届 cyl

时间：2021-08-14在这里插入图片描述

code: github.com/tensorflflow/tcav

一、简单介绍

这是一篇使用人为提出的概念向量(Concept Activation Vectors,CAV)对模型进行解释的方法，并且提供了对CAV度量的标准(TCAV)。

二、问题陈述

1.鉴于机器学习模型应用的广泛性和重要性，我们必须去理解机器学习模型的行为（即该模型是基于什么来做出判断的）。可解释性需求随之产生。
在这里插入图片描述

比如我们有一个已经训练好了的神经网络，输入一张鸟的图像，它可以告诉我们这张图片里是junco
bird（灯芯草雀）。与之对应的可解释性问题就是：为什么它被分类为junco bird？

  1. 一种自然而然想到的解释方法是，根据机器学习模型的输入特征的重要性来解释（在线性回归模型中，这个重要性表示为系数权重；在对图像进行分类的卷积网络模型中
最低0.47元/天 解锁文章
特征交互（Feature Interaction）及多项式特征（PolynomialFeatures）
data+scenario+science+insight
04-19 3477
特征交互（Feature Interaction）及多项式特征（PolynomialFeatures）也是特征工程的一部分。 有一个经典的大白话的例子，有一杯咖啡，加了糖然后还有一根搅拌的棍子，如果需要咖啡甜如何操作才行？ 只是加糖或者只是搅拌都不会达到预期的效果，只有当加了糖而且还搅拌了的情况下，才能获得甜咖啡。 这就是特征的交互，进一步扩展就可以获得多项式特征。 Polynomialfeaturesarethosefeaturescreatedbyraising...
【论文笔记】AAAI2022：Do Feature Attribution Methods Correctly Attribute Features?
cocotiani的博客
03-09 930
CV可解释性方向，第一次整理论文笔记，如有错误请批评指正。 原文链接：https://www.semanticscholar.org/paper/Do-Feature-Attribution-Methods-Correctly-Attribute-Zhou-Booth/426734685283b4a0c08b34cd9e996e2e30e7f7ee 代码：https://github.com/YilunZhou/feature-attribution-evaluation Abstract 特征归.
谷歌大脑发布概念激活向量，了解神经网络的新思维方式
BigDataDigest的博客
07-23 481
大数据文摘出品 编译：李可、张秋玥、刘俊寰 可解释性仍然是现代深度学习应用的最大挑战之一。计算模型和深度学习研究的最新进展使我们能够创建极度复杂的模型，包括数千隐藏层和数千万神经元。效果惊人的前沿深度神经网络模型构建相对简单，但了解这些模型如何创造和使用知识仍然是一个挑战。 最近，Google Brain团队的研究人员发表了一篇论文，提出了一种名为概念激活向量（Concept...
20、可解释机器学习：概念检测与未来展望
最新发布
q9w8e7r6t5的博客
10-04 54
本文介绍了可解释机器学习中的概念检测方法，重点阐述了Testing with Concept Activation Vectors (TCAV) 的原理、流程及其优缺点。TCAV通过构建概念激活向量来衡量抽象概念对模型预测的影响，能够生成用户友好的全局解释，适用于领域专家评估模型行为。文章还介绍了其他基于概念的方法如ACE、CBM和CW，并讨论了TCAV在实际应用中的局限性。最后，基于数字化、自动化和目标设定不完美的前提，展望了可解释机器学习在未来推动AI透明化、促进机器学习广泛应用的重要作用。
可解释性论文笔记：Interpretability Beyond Feature Attribution（TCAV）
colayear的博客
06-25 2304
论文名为《Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV)》，由Google的一些研究人员于2018年发表在ICML（International Conference on Machine Learning）上。arxiv地址为理解现代机器学习(ML)模型(如神经网络)的行为仍然是一个重大挑战。
Db4o的级联（Activation-Concept）概念
aocezhi0403的博客
01-16 127
场景：在地球上任意找一个人然后让他找出他认识的任意五个人，这五个人成为初始条件……递归。 结果：通过这样的查询方式会把地球上的每个人都找出来。 假设：任何数据库执行这样的操作恐怕没有不崩溃的。 现实：Db4o数据库的默认查询方式就是这样的！查询一个对象的时候如果这个对象和其他对象有关联那么被关联的对象也一并查询出来。 Db4o通过 引入Activation-Concept理...
Reasons, Values, Stakeholders: A Philosophical Framework for Explainable Artificial Intelligence
weixin_42786150的博客
02-28 1344
arXiv:2103.00752v1 [cs.CY] 1 Mar 2021 Reasons, Values, Stakeholders: A Philosophical Framework for Explainable Artificial Intelligence Atoosa Kasirzadeh atoosa.kasirzadeh@mail.utoronto.ca University of Toronto (Toronto, Canada) &Australian Natio.
ICCV2017论文摘要汇总
super_chicken的博客
04-18 7352
1. Globally-Optimal Inlier Set Maximisation for Simultaneous Camera Pose and Feature Correspondence Abstract: Estimating the 6-DoF pose of a camera from a single image relative to a pre-computed 3D p...
Paper：Generating Hierarchical Explanations on Text Classification via Feature Interaction Detection
u012744245的博客
01-09 386
论文：Generating Hierarchical Explanations on Text Classification via Feature Interaction Detection github：https://github.com/UVa-NLP/HEDGE 1. Introduction Generating explanations for neural networks, help understand the decision-making of black-box models E
特征归因（Feature Attribution）
This is Yu SI's blog. Kenny(司宇SIYU)
06-06 3776
特征归因 特征之间的依赖引入了归因和外推问题。例如，当特征之间相互关联并共享信息时，特征的重要性和作用就变得难以区分。 随机森林中的相关特征具有较高的重要性，许多基于灵敏度分析的方法会置换特征，当置换后的特征与另一特征具有某种依赖性时，此关联将断开，并且所得数据点将外推到分布之外的区域。 ML模型从未在这类组合数据上进行过训练，并且可能不会在应用程序中遇到类似的数据点。因此，外推可能会引起误解。 归因方法主要是指输入特征的解释能力进行排名或度量，并以此来解释任务模型，有时也称为特征/变量重要性，相关性
Inseq 特征归因：可视化解释 LLM 的输出
Hoper-J的博客
09-21 1341
本文将介绍 Inseq，这是一个用于解释和可视化序列生成模型输出的工具。我们将通过翻译任务（关注整个序列）和文本生成任务（关注前面的词）来演示如何使用 Inseq 来了解输入文本的哪些部分对模型生成下一个单词的影响最大。
深度学习基础：可解释性
weiwei935707936的博客
02-27 245
可解释性
[MICCAI2019] Global and Local Interpretability for Cardiac MRI Classification
xby的学习笔记存档处
08-17 924
深度学习可解释性
【2022】Do Explanations Explain? Model Knows Best
Ziy的博客
03-12 1624
目前(2022)主流的 神经网络可解释性方法公理化分析
ICML 2018 paper(oral)
qq_34848537的博客
10-08 5478
参考链接 icml 2018 oral Paperlist Optimal Tuning for Divide-and-conquer Kernel Ridge Regression with Massive Data Predict and Constrain: Modeling Cardinality in Deep Structured Prediction Transfer Learn...
深度学习可解释性的相关论文
qq_42779103的博客
11-26 4016
Year Publication Paper Citation code 2020 CVPR Explaining Knowledge Distillation by Quantifying the Knowledge 3 2020 CVPR High-frequency Component Helps Explain the Generalization of Convolutional Neural Networks 16 2020 CVPRW Score-CAM: Sco...
神经网络 深度神经网络,深度神经网络进展情况
super67269的博客
08-25 1232
这两个概念实际上是互相交叉的，例如，卷积神经网络（Convolutionalneuralnetworks，简称CNNs）就是一种深度的监督学习下的机器学习模型，而深度置信网（DeepBeliefNets，简称DBNs）就是一种无监督学习下的机器学习模型。深度学习已经深入各个领域无人车，智能回答，智能翻译，天气预报，股票预测，人脸比对，声纹比对，等其他许多有趣的应用，比如智能插画，自动作诗，自动写作文，等都可以通过深度学习来完成深度神经网络目前有哪些成功的应用。因此，深度学习仍需解决以上问题。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

中南大学苹果实验室

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值