可解释性机器学习--导论

可解释性机器学习_Feature Importance、Permutation Importance、SHAP 本文讲的都是建模后的可解释性方法。建模之前可解释性方法或者使用本身具备可解释性的模型都不在本文范围内~ 哪些特征在模型看到是最重要的? 关于某一条记录的预测,每一个特征是如何影响到最终的预测结果的? 从大量的记录整体来考虑,每一个特征如何影响模型的预测的? 为什么这些解释信息是有价值的 调试模型用 指导工程师做特征工程 指导数据采集的方向 指导人们做决策 建立模型和人之间的信任 本文主要讲三种方法: 特征重要性(Feature Importance) Permutation Importance SHAP 阅读详情

   

目录

AI部分热门研究方向

 可解释性机器学习

 可解释性明确的传统机器学习算法

  卷积神经网络的可解释性分析

可视化卷积核

​编辑

 遮挡、缩放、平移、旋转

 找到使某个神经元激活的小图

 基于类激活热力图(CAM)的可视化

 语义编码降维可视化

 生成特定图像

思考

附录


   

        2022年人工智能依旧飞速发展,从传统机器学习模型到如今以“炼丹”为主的深度神经网络,代表着模型拟合度与模型可解释性各自的发展趋势。至此,深刻体会并成功解释NN为何能取得更优的效果成为各行各业的新目标,而可解释性机器学习便应运而生。

 

AI部分热门研究方向

         可见如果说AI的诞生就是为了人类更好地应用,那么真正搞懂AI为什么能应用在某场景,AI在某场景下怎样应用等等问题则显得尤为重要。

 可解释性机器学习


        在可解释机器学习和可解释性的领域中,还有一些经典案例,有助于理解可解释性和可解释机器学习的重要性:

1. 哮喘和肺炎的案例。由于神经网络的错误无法解释,导致神经网络模型无法用于临床试验。
2. 在狼和狗的图像分类中,解释发现模型使用背景中的雪作为区分的特征,而不是动物本身。
3. 金融部门发现将id作为最重要的特征。
 

 可解释性明确的传统机器学习算法

        对于传统机器学习算法,由于其严谨的数学理论推导,使其可解释性十分明确,以KNN为例,该算法主要思路在于通过已选定目标周围的其余已知标签情况来预测当前目标为某一类的可能性,简洁而言:“物以类聚人以群分”,此外如线性回归,Logistic Regression也可从高中数学课本知识得知可由最小二乘法使残差最小得到最优模型,同样地,基于if-else的决策树算法也是出于一些浅层的推理逻辑诞生。

  卷积神经网络的可解释性分析

        卷积神经网络作为深度学习的其中一种算法,当前研究可解释性分析的方向如下:

  • 可视化卷积核、特征图
  • 遮挡Mask、缩放、平移、旋转
  • 找到能使某个神经元激活的原图像素,或者小图
  • 基于类激活热力图(CAM) 的可视化
  • 语义编码降维可视化
  • 由语义编码倒推输入的原图
  • 生成满足某些要求的图像 (某类别预测概率最大)

可视化卷积核

        每个卷积核提取不同的特征每个卷积核对输入进行卷积,生成一个feature map这个feature map即提现了该卷积核从输入中提取的特征不同的feature map显示了图像中不同的特征

        浅层卷积核提取 : 边缘、颜色、斑块等底层像素特征
        中层卷积核提取 : 条纹、纹路、形状等中层纹理特征
        高层卷积核提取 : 眼睛、轮胎、文字等高层语义特征

        最后的分类输出层输出最抽象的分类结果

 遮挡、缩放、平移、旋转

        对图像加入一些类似噪声的操作,可以完成进一步的可解释性研究。

 找到使某个神经元激活的小图

        通过观察特定layer产生的图片可以发现,神经网络对于物体的识别同传统机器算法一样是存在一定的底层逻辑。

 基于类激活热力图(CAM)的可视化

        通过热力图的可视化,我们可以看到神经网络眼中的图像,比如对于下图的牧羊犬来说,我们可以看到神经网络主要关注的是牧羊犬的主体,而不是关注周围的环境。

 语义编码降维可视化

        维度始终是机器学习关注的方面。通过维度的提升,我们可以关注到指标的高维信息,从而实现性能的提升;而通过降低维度,可以降低算法复杂度,使计算性能优化,减少对外设的要求和运算时间。

 生成特定图像

        在讲述该领域的应用前,先引入对抗学习的相关概念。

        在深度学习中,有许多类型的对抗性攻击,每一类攻击都有不同的目标和对攻击者知识的假设。然而,总的目标是在输入数据中添加最少的扰动,以导致所需的错误分类。攻击者的知识有几种假设,其中两种是:白盒和黑盒。

        白盒攻击假定攻击者具有对模型的全部知识和访问权,包括体系结构、输入、输出和权重。黑盒攻击假设攻击者只访问模型的输入和输出,对底层架构或权重一无所知。目标也有几种类型,包括错误分类和源/目标错误分类。错误分类的目标意味着对手只希望输出分类是错误的,而不关心新的分类是什么。源/目标错误分类意味着对手想要更改原来属于特定源类的图像,以便将其分类为特定的目标类。

        如图,我们把57.7%置信度熊猫标签的图片加入噪声,最终得到99.3%置信度的长臂猿,可见在该算法鲁棒性较差,而这也体现出可解释性机器学习的重要性。

思考

· 为什么要对机器学习、深度学习模型做可解释性分析和显著性分析 ?
· 如何回答“人工智能黑箱子灵魂之问” ?
· 人工智能的可解释性分析有哪些应用场景?
· 哪些机器学习算法本身可解释性就好?为什么?
· 对计算机视觉、自然语言处理、知识图谱、强化学习,分别如何做可解释性分析?
· 在你自己的研究领域和行业,如何使用可解释性分析?
· 可以从哪几个角度实现可解释性分析 ?
· Machine Teaching有哪些应用场景 ?
 

附录

 

 

可解释的机器学习 文章目录可解释性可解释性的重要性可解释性方法的分类解释的性质人性化的解释 可解释性 可解释性的定义:可解释性是⼈们能够理解决策原因的程度。另⼀种定义是 :可解释性是指⼈们能够⼀致地预测模型结果的程度。机器学习模型的可解释性越⾼,⼈们就越容易理解为什么做出某些决策或预测。 可解释性的重要性 如果模型具有可解释性,我们可以更好的检查以下性质: 公平性 (Fairness):确保预测是公正的,不会隐式或显式地歧视受保护的群体。可解释的模型可以告诉你为什么它决定某个⼈不应该得到贷款,并且使⼈们更容易判断该决 阅读详情

相关推荐

人工智能导论课程设计与教学实践解析

人工智能作为当今科技发展的核心驱动力,其基础理论和技术应用已成为计算机教育的重要组成部分。从机器学习三大范式(监督/无监督/强化学习)到神经网络的前向传播与反向传播原理,AI技术通过算法模型实现数据驱动的智能决策。在工程实践中,Jupyter Notebook和Colab等云原生环境为AI实验提供了便捷的开发平台,而像MNIST、IMDb这样的经典数据集则成为验证模型性能的重要基准。课程设计特别强调理论深度与实践能力的平衡,通过CNN图像分类、GAN图像生成等12个递进式实验项目,培养学生解决实际问题的工程

weixin_29074295的博客 312

机器学习可解释性一(LIME)

对于机器学习的用户而言,模型的可解释性是一种较为主观的性质,我们无法通过严谨的数学表达方法形式化定义可解释性。通常,我们可以认为机器学习的可解释性刻画了“人类对模型决策或预测结果的理解程度”,即用户可以更容易地理解解释性较高的模型做出的决策和预测。从哲学的角度来说,为了理解何为机器学习的可解释性,我们需要回答以下几个问题:首先,我们应该如何定义对模型的“解释”,怎样的解释才足够好?许多学者认为,要判断一个解释是否足够好,取决于这个解释需要回答的问题是什么。

chj65的博客 5286

人工智能AI 与 机器学习ML 的关键区别

人工智能(AI)是指计算机系统能够执行通常需要人类智能才能完成的任务。包括理解自然语言、识别图像、解决复杂问题和做出决策。AI的目标是创建能够模仿或超越人类智能的系统。弱人工智能(弱AI):也称为窄AI,专注于特定任务。例如,语音助手(如Siri和Alexa)和推荐系统(如Netflix和Amazon的推荐算法)。强人工智能(强AI):也称为通用AI,具有执行任何人类智能任务的能力。目前,强AI仍处于理论阶段,尚未实现。机器学习(ML)是人工智能的一个子领域。

王教主的博客 5945

可解释性机器学习

可解释性机器学习的定义及其应用、在医疗和法律方面的具体代码实现、使用到的 shap 和 lime 解释器的详细示例解释

weixin_71458119的博客 2841

机器学习可解释性(一)

文章目录what Kaggle Notebook GM 排名第二的 Dan Becker 在他的推送What 70% of Data Science Learners Do Wrong 中特意提到了一点: Learn how to interpret model output. For example, you need to understand measures of model accuracy to know if you can trust a model. Learn machine lear

SkullSky的博客 3712

机器学习的可解释性

机器学习的可解释性 人工智能技术与咨询 来源:《计算机研究与发展》,作者陈珂锐等 摘 要近年来,机器学习发展迅速,尤其是深度学习在图像、声音、自然语言处理等领域取得卓越成效.机器学习算法的表示能力大幅度提高,但是伴随着模型复杂度的增加,机器学习算法的可解释性越差,至今,机器学习的可解释性依旧是个难题.通过算法训练出的模型被看作成黑盒子,严重阻碍了机器学习在某些特定领域的使用,譬如医学、金融等领域.目前针对机器学习的可解释性综述性的工作极少,因此,将现有的可解释方法进行归类描述和分析比较,一方面..

m0_62870606的博客 2286

一、导论——可解释性机器学习(DataWhale组队学习)

人工智能黑箱子灵魂之问Al的脑回路是怎样的?Al如何做出决策?是否符合人类的直觉和常识?Al会重点关注哪些特征,这些特征是不是真的有用?如何衡量不同特征对Al预测结果的不同贡献?Al什么时候work,什么时候不work?AI有没有过拟合?泛化能力如何?会不会被黑客误导,让AI指鹿为马?如果样本的某个特征变大15,会对Al预测结果产生什么影响?如果Al误判,为什么会犯错?如何能不犯错?两个AI预测结果不同,该信哪一-个?能让AI把学到的特征教给人类吗?

小刘的博客 1281

一文搞定机器学习中的“模型可解释性”

机器学习是最近许多科技进步的核心。随着计算机在围棋等游戏中击败专业人士,许多人开始询问,机器是否也能成为更好的司机,甚至更好的医生。如果⼀个机器学习模型运⾏良好,为什么我们仅仅信任该模型⽽忽略为什么做出特定的决策呢?诸如分类准确性之类的单⼀指标⽆法完整地描述⼤多数实际任务。当涉及到预测模型时,需要作出权衡:**你是只想知道预测是什么?**例如,客户流失的概率或某种药物对病⼈的疗效。**还是想知道为什么做出这样的预测?**这种情况下可能为了可解释性付出预测性能下降的代价。

全网粉丝30W+,优快云、稀土掘金人工智能领域签约作者,人工智能、大模型、Python 爬虫,商务合作,请私信沟通。 2598

可解释机器学习笔记合集

可解释性机器学习笔记合集

像初雪一样自由洒落 511

XAI/ML:机器学习可解释性之模型洞察之为什么以及什么时候你需要洞察力?

​ XAI/ML:机器学习可解释性之模型洞察之为什么以及什么时候你需要洞察力? 目录 Why and when do you need insights? 相关文章 ML:机器学习可解释性之模型洞察之为什么以及什么时候你需要洞察力? ML之PFI:机器学习可解释性之特征置换重要性之机器学习模型中哪些特征很重要? ML之PDP:机器学习可解释性之部分依赖图之每个特征如何影响您的预测? ML之SHAP:机器学习可解释性之SHAP值之理解单样本单特征预测 ML之SHAP:机器学习可解释性之SH

头部AI社区如有邀博主AI主题演讲请私信—心比天高,仗剑走天涯,保持热爱,奔赴向梦想!低调,专注,谦虚,自律,反思,成长,还算比较正能量的博主,公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然,有点小情怀,也有点使命感呀 2073

Outlook邮件规则实战:从自动化分类到GTD工作流整合

在信息过载的数字化办公环境中,自动化处理技术成为提升效率的关键。其核心原理是基于“条件-动作”的触发器模型,通过预设逻辑让系统自动执行重复性任务。这种自动化机制的技术价值在于将用户从繁琐的机械操作中解放出来,实现信息流的智能管控。在邮件管理这一典型应用场景中,自动化规则能精准处理项目邮件聚合、优先级分流等复杂需求。本文聚焦于微软Outlook的规则引擎,深入解析如何利用**规则引擎**和**触发器模型**构建高效的邮件处理系统,并进一步将其融入GTD(Getting Things Done)个人生产力框架,

weixin_31083901的博客 316

《可解释人工智能公开课》——by 同济子豪兄 第一章导论笔记

《可解释人工智能公开课》——by 同济子豪兄 第一章导论笔记

xuejiang__的博客 558

Foxmail 7.2.25以下版本XSS漏洞实战复现:手把手教你如何构造恶意邮件(含防御方案)

本文深入解析Foxmail 7.2.25以下版本的XSS漏洞(CNVD-2025-06036),详细展示如何构造恶意邮件进行跨站脚本攻击,并提供从客户端升级到企业级防护的多层次防御方案,帮助用户有效防范安全风险。

view3的博客 165

机器学习模型可解释性的详尽介绍

机器之心平台来源:腾讯技术工程模型可解释性方面的研究,在近两年的科研会议上成为关注热点,因为大家不仅仅满足于模型的效果,更对模型效果的原因产生更多的思考,这样的思考有助于...

Datawhale 1万+

Ubuntu终端一键安装英伟达驱动:无需手动下载的完整指南

本文提供了一份在Ubuntu系统上通过终端命令一键安装英伟达显卡驱动的完整指南。该方法利用官方PPA源,无需手动下载驱动文件,可自动检测硬件并安装最佳版本,极大简化了流程,适合深度学习环境搭建等场景,有效提升安装效率与稳定性。

weixin_29232121的博客 184

2025认证杯数学建模第二阶段B题完整论文(代码齐全):谣言在社交网络上的传播

这需要我们深入理解抽样检测所得的次品率的不确定性及其对生产决策的影响。对于问题二的决策分析,我们可将其细分为四个关键的决策节点,分别是零件 1 的质量检测、零件 2 的质量检测、成品的质量检测,以及成品检测不合格时的拆解处理。该策略的实施,保证了在算法迭代过程中,表现最为优异的个体能够得到保留,并顺利传递至下一代,从而保障了算法在寻求最优解过程中的收敛性和优化效果。因此,我们采用假设检验的方法,将次品分布构造成 t 分布,从而确定在相应置信度的条件下,抽样次数 n 和次品数 k 所需满足的要求。

2301_81596622的博客 1010

【机器学习】李宏毅——Explainable ML(可解释性的机器学习)

本文介绍了Explainable ML(可解释性的机器学习)的相关内容,抱愧这项技术的相关概述、当前发展等等。

FavoriteStar的博客 1622

Flash芯片的VCC上电到可操作时间过长

Flash的VCC上电到操作时间(tVSL)通常有最大值限制,如果超过这个时间,核心风险是状态机不同步和指令锁存错误。比如芯片内部振荡器可能已经尝试启动又休眠了,但主控却在这之后才发送指令,导致完全 misinterpreted。Flash芯片的(从电源上电到可以正常进行读写操作的时间)如果过长,会产生一系列负面影响简单来说,这个时间过长意味着电源上升速度太慢,违反了芯片的要求。

qq_61918649的博客 725

机器学习的可解释性(总结)

目录背景什么是可解释性可解释性的分类ante-hoc可解释性post-hoc可解释性可解释性与安全性展望解释方法设计解释方法评估 论文 机器学习模型可解释性方法、应用与安全研究综述. 背景 近年来,机器学习在计算机视觉、自然语言处理、语音识别等多个领域取得了巨大的成功,机器学习模型也被广泛地应用到一些重要的现实任务中,如人脸识别、自动驾驶、恶意软件检测 和智慧医疗分析等。 然而,由于机器学习缺乏可解释性,在应用方面受到许多制约。例如DNN模型,就如同一个黑盒,给予一个输入,得到一个决策结果,但是我们无法确切

ilalaaa的博客 1万+

WorkBuddy CAD 审图救命课:约束、单位、尺寸链一次查清,打样前拦住返工

最危险的 CAD 文件不是打不开,而是看起来完整却混用了毫米与英寸、草图欠约束、关键尺寸没有来源。审图任务必须先列规则,再输出问题位置。 本课不会用“AI 一键完成”制造错觉,而是把 WorkBuddy、FreeCAD 0.21.2、OpenCascade 7.7 与人工审阅组成一条可复现链路。你会从“一份模拟 STEP 文件、参数表、装配基准与审图标准”出发,得到“单位报告、约束清单、尺寸链风险表与人工复核标记”,并学会用真实命令、错误信号和停止条件判断成果能不能进入下一阶段。

yueyeguzhuo的专栏 273

2026年全国青少年信息素养大赛算法应用主题赛(C++赛项初赛模拟卷1及答案解析)

2026年全国青少年信息素养大赛算法应用主题赛(C++赛项初赛模拟卷1及答案解析)

王老师青少年编程 2029

【Designing ML Systems】第 1 章 :机器学习系统概述

2016 年 11 月,谷歌宣布将其多语言神经机器翻译系统整合到谷歌翻译中,标志着深度人工神经网络在大规模生产中的首批成功案例之一。1据 Google 称,通过此次更新,翻译质量的一次飞跃提升幅度超过了过去 10 年的总和。深度学习的这种成功更新了对机器学习 (ML) 的广泛兴趣。从那时起,越来越多的公司转向机器学习来解决他们最具挑战性的问题。在短短五年内,机器学习几乎进入了我们生活的方方面面:我们如何获取信息、我们如何沟通、我们如何工作、我们如何找到爱。ML 的传播是如此之快,以至于已经很难想象没有它的生

sikh_0529的博客 1807

初探802.11协议(6)——Wi-Fi 6新特性简介

Wi-Fi 6新机制(特性)介绍

FanFF的博客 1523

可解释性机器学习入门:SHAP方法

随着机器学习特别是深度学习的应用越来越广泛,其“黑箱”特性(即模型内部复杂的决策机制难以理解)带来了信任、伦理、法律和安全等方面的挑战,因此可解释性变得至关重要,本篇博客对其做了相关讲解并结合实战重点介绍了SHAP这种模型无关的解释方法,希望能对大家有所帮助。

weixin_72032564的博客 1万+

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

上一篇: 基于神经网络的CTR实践
下一篇: ZFNet
Vector Jason
博客等级 码龄6年 35粉丝 36原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值