《可解释机器学习》中文版重磅开源!这位复旦小哥太给力了

可解释性AI 可解释人工智能(Explainable Artificial Intelligence, XAI)是指智能体以一种可解释、可理解、人机互动的方式,与人工智能系统的使用者、受影响者、决策者、开发者等,达成清晰有效的沟通,以取得人类信任,同时满足监管要求。AI VS. XAI简单而言,可解释性可用于两个阶段:模型之前(pre)和模型之后(post)。算法的透明性和简单性(Algorithmic Transparency and Simplicity)表达的可解构性(Decomposability) 阅读详情


晓查 整理 

量子位 报道 | 公众号 QbitAI

前言

我曾经介绍过一本不错的书籍:《A Gudie for Making Black Box Models Explainable》,中文译为《可解释机器学习》。这本书是关于使机器学习模型和他们的决定变得可解释。

新冠疫情的出现,让许多AI医疗技术浮出水面。

但是AI一直黑箱问题存在,如果AI对过程都不能做到可解释,又怎么能放心让它来诊断病患呢。而关于机器学习可解释问题的书籍少之又少。

最近,一位来自复旦大学的研究生朱明超,将一本少有的书《Interpretable Machine Learning》(可解释机器学习)翻译成了中文。

这本书最初是由德国慕尼黑大学博士Christoph Molnar耗时两年完成的,长达250页,是仅有的一本系统介绍可解释性机器学习的书籍。

朱明超近期完成了这本书的翻译和校对工作,目前已经开源放到GitHub网页上。朱同学在翻译过程中还和原作者进行了多次讨论,中文版还得到了Christoph Molnar本人在Twiter上的推荐。

“可解释”是这本书的核心论题。作者认为,可解释性在机器学习甚至日常生活中都是相当重要的一个问题。建议机器学习从业者、数据科学家、统计学家和任何对使机器学习模型可解释的人阅读本书。

《可解释的机器学习》该书总共包含 7 章内容:

第一章:前言
第二章:可解释性
第三章:数据集
第四章:可解释的模型
第五章:模型无关方法
第六章:基于样本的解释
第七章:水晶球

Molnar表示,虽然数据集与黑盒机器学习解决了很多问题,但这不是最好的使用姿势,现在模型本身代替了数据成为了信息的来源,但可解释性可以提取模型捕捉到的额外信息。

当我们的日常生活中全都是机器和算法时,也需要可解释性来增加社会的接受度。毕竟要是连科学家都研究不透“黑盒”,怎样让普通人完全信任模型做出的决策呢?

这本书的重点是机器学习的可解释性。你可以从这本书中学习简单的、可解释的模型,如线性回归、决策树和决策规则等。

后面几章重点介绍了解释黑盒模型的模型无关的一般方法,如特征重要性和累积局部效应,以及用 Shapley 值和 LIME 解释单个实例预测。

对各种解释方法进行了深入的解释和批判性的讨论。它们是如何工作的?优点和缺点是什么?如何解释它们的输出?本书使你能够选择并正确应用最适合你的机器学习项目的解释方法。

这本书结合了各类现实生活中的例子来介绍相关的概念,同时搭配参考链接帮助读者进一步学习了解。

另外朱同学的GitHub上还一直在坚持翻译Goodfellow的《机器学习》,还在翻译中配上了自己编写的Python代码供参考。有兴趣的同学也可以顺带去参考学习。

最后附上《可解释机器学习》一书的项目地址:
https://github.com/MingchaoZhu/InterpretableMLBook

欢迎扫码关注:

金融风控实战——可解释人工智能技术 可解释的基本概念 机器学习/人工智能可解释性(简称 XAI)正变得越来越流行。随着算法在金融、医疗保健和保险等行业的高风险决策中变得越来越普遍,对可解释性的需求持续增长。关于“可解释性”的精确定义,目前工业界和学术界仍未达成一个统一的标准,但是一个比较简单直接的定义为:“可解释性”是帮助 人工智能技术的的决策和行为能够被人类理解的一系列方法。 可解释人工智能技术中的大部分概念和我们熟悉的人工智能技术中的概念是完全相同的,例如数据集,样本,特征,模型等等,这里需要额外说明两个在可解释人工智能技术中相对比较独特 阅读详情

相关推荐

Playwright与MCP协议结合:AI驱动的智能Web自动化测试实践

Web自动化测试是现代软件开发流程中保障产品质量的关键环节,其核心原理是通过程序模拟用户操作,对Web应用进行功能验证。传统自动化测试工具如Selenium和Playwright虽然提供了强大的API,但脚本编写和维护仍需较高的编程技能。随着AI技术的发展,智能测试成为新的趋势,它通过自然语言理解和自动化执行,显著降低了测试创建门槛。Model Context Protocol(MCP)作为一种连接AI模型与外部工具的开放协议,为自动化测试带来了“智能大脑”。通过将MCP与Playwright结合,测试人员

aoe41606的博客 607

可解释性机器学习

可解释性机器学习的定义及其应用、在医疗和法律方面的具体代码实现、使用到的 shap 和 lime 解释器的详细示例解释

weixin_71458119的博客 2841

ArcMap投影变换避坑指南:为什么你的坐标转换总出错?常见问题解析与解决方案

本文深入解析ArcMap中坐标转换与投影变换的核心区别与常见陷阱。针对坐标转换总出错的问题,从混淆“定义投影”与“投影变换”、栅格数据重采样选择、矢量数据地理变换参数设置等关键环节,提供清晰的避坑指南与实战解决方案,帮助用户确保空间数据的精确匹配。

weixin_29210727的博客 357

机器学习可解释性一(LIME)

对于机器学习的用户而言,模型的可解释性是一种较为主观的性质,我们无法通过严谨的数学表达方法形式化定义可解释性。通常,我们可以认为机器学习的可解释性刻画了“人类对模型决策或预测结果的理解程度”,即用户可以更容易地理解解释性较高的模型做出的决策和预测。从哲学的角度来说,为了理解何为机器学习的可解释性,我们需要回答以下几个问题:首先,我们应该如何定义对模型的“解释”,怎样的解释才足够好?许多学者认为,要判断一个解释是否足够好,取决于这个解释需要回答的问题是什么。

chj65的博客 5284

MATLAB实战:64QAM通信系统仿真全流程解析(附误码率优化技巧)

本文提供了一份完整的64QAM通信系统MATLAB仿真实践指南。从系统架构设计、发射端格雷码映射与脉冲成形,到信道建模、接收端同步与均衡,详细解析了全链路实现流程。文章重点分享了误码率曲线与理论值偏差的排查清单和深度优化技巧,帮助工程师构建工业级精度的仿真模型,解决高阶调制系统仿真的核心难题。

jenkins8butler的博客 404

从零构建虚幻引擎体积云:参数调优与性能平衡的艺术

本文深入探讨了在虚幻引擎中构建逼真体积云系统的关键技术,包括Sky Atmosphere、Volumetric Cloud和Exponential Height Fog三大核心组件的协同工作。重点解析了体积云材质的高级控制、光照阴影的物理模拟以及性能优化策略,帮助开发者在视觉效果与性能之间找到最佳平衡点。

weixin_29012677的博客 939

终于有人把可解释机器学习讲明白了

导读:为了解决模型的“黑盒”问题,科学家们提出了可解释机器学习。除了预测的精准性之外,可解释性也是机器学习模型是否值得信赖的重要衡量标准。可解释机器学习(IML)的核心思想在于选择模型时,...

大数据 6551

高性能网站设计之缓存更新的套路

看到好些人在写更新缓存数据代码时,先删除缓存,然后再更新数据库,而后续的操作会把数据再装载的缓存中。然而,这个是逻辑是错误的。试想,两个并发操作,一个是更新操作,另一个是查询操作,更新操作删除缓存后,查询操作没有命中缓存,先把老数据读出来后放到缓存中,然后更新操作更新了数据库。于是,在缓存中的数据还是老的数据,导致缓存中的数据是脏的,而且还一直这样脏下去了。 我不知道为什么这么多人用的都是这

代码技巧 1万+

可解释的机器学习(XML)概览

对于模型来说,可解释性指的是模型能用通俗易懂的语言进行表达,是一种能被人类所理解的能力。具体来说就是,能够将模型的预测过程转化成具有逻辑关系的规则的能力。可解释性通常比较主观,对于不同的人,解释的程度也不一样,很难用统一的指标进行度量。

zhfplay的博客 1336

HDI盲埋孔设计规范:高速PCB信号完整性落地指南

盲埋孔是高密度互连(HDI)PCB实现高速信号完整性的关键技术,其本质是通过控制过孔stub长度、优化回流路径和提升布线密度,解决GHz级信号在传统通孔结构下出现的谐振、串扰与EMI超标问题。其设计核心在于叠层物理约束、电气参数建模与工艺能力协同,涉及stub长度计算、反焊盘尺寸推导、孔壁粗糙度Rz控制等关键指标。广泛应用于DDR4、PCIe Gen4、USB3.2等高速接口的PCB设计中,尤其在车载ADAS、5G基站及FPGA载板等对SI/PI要求严苛的场景中成为刚性门槛。

weixin_34416754的博客 438

使用podspec创建iOS插件

概述 在WWDC 2014全球开发者大会上,苹果开放了动态库、App Extension等全新的功能,这为iOS插件化开发带来了可能。在iOS开发中,动态库是iOS提供的一种资源打包方式,可以将代码文件、头文件、资源文件和说明文档等集中在一起,并且可以在运行时进行动态加载。 目前,很多应用越做越复杂,应用程序也显得越来越臃肿。试想一下,如果将一些不常用的功能做成一个插件,然后根据用户的需求从网络中...

xiangzhihong8的专栏 993

可解释性机器学习--导论

文章以AI前沿技术为基础,通过传统机器学习和现代神经网络对比,从底层逻辑出发讲解了可解释性机器学习的重要性与必要性,同时引出了自己的思考。

Vectorln的博客 886

STEP 7-Micro/WIN SMART 编程软件:从入门到精通的使用指南

通过不断实践,熟悉软件的各项功能和操作技巧,工程师可更好地应对工业自动化控制中的各种挑战,开发出高效、稳定的控制程序。项目的基本组件是构成程序的核心元素,包括:程序块(主程序 OB1、子程序和中断程序)、数据块(给 V 存储器赋初值)、系统块(硬件组态和参数设置)、符号表(用符号代替存储器地址,使程序更易理解)以及状态图表(监视、修改和强制变量状态)。下载程序时,单击工具栏上的 “下载” 按钮,在弹出的下载对话框中选择要下载的块(程序块、数据块、系统块),单击 “下载” 即可。

电工 5576

可解释性AI (Explainable Artificial Intelligence,XAI)

例如,通过热力图、线条图和散点图等可视化方法,可以显示模型对输入的响应和特征的重要性。总的来说,可解释性AI(XAI)在各个领域的应用潜力广阔,未来有望推动人工智能的可解释性和可靠性,促进其更广泛的应用和受到更多人的信任和接受。金融风险评估和投资决策:XAI可以帮助投资者、银行和金融机构解释机器学习模型在风险评估和投资决策方面的决策过程,提高决策的可解释性和可靠性。医疗诊断和决策支持:XAI可以帮助医生和医疗专业人员理解和解释医疗影像数据、病例数据和疾病预测模型的决策过程,提供更准确的诊断和治疗建议。

csdn_aspnet的专栏,请点击博客主页右上角三个点中的私信联系 3962

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

【可解释性机器学习】可解释机器学习简介与特征选择方法

`Explainable ML`要求模型不但要给出结果,还要对结果背后的原因做出解释。这种解释可以分为`Local Explanation`、`Global Explanation`、用另一种Explainable的模型来Explanation等方法。

小哲的博客 2225

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

机器学习模型可解释性的详尽介绍

机器之心平台来源:腾讯技术工程模型可解释性方面的研究,在近两年的科研会议上成为关注热点,因为大家不仅仅满足于模型的效果,更对模型效果的原因产生更多的思考,这样的思考有助于...

Datawhale 1万+

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

可解释机器学习(Explainable/ Interpretable Machine Learning)的原理和应用(李宏毅视频课笔记)

文章目录0 前言1 Introduction of Explainable/ Interpretable ML1.1 Why we need Explainable ML?1.2 Interpretable v.s. Powerful2 Local Explanation2.1 Introduction of Local Explanation2.1 Removing Way2.2 Modifying Way2.3 Limitation of Gradient based Approaches2.4 At

双鸭山•克里菲斯•北方孤星之堕 4885

可解释性人工智能(eXplainable Artificial Intelligence,XAI)

举例来 说,假设我们都采用线性模型,它的解释的能力是比较强的,我们可以轻易地知道根据一个 线性模型里面的每一个特征的权重,知道线性的模型在做什么事。机器学习未来也会被用在医疗诊断上,但医疗诊断是人命关天的事情,如果机器学习的 模型只是一个黑箱,不会给出诊断的理由的话,那我们又要怎么相信它做出的是正确的判断 呢。现在也有人想把机器学习的模型用在法律上,比如说帮助法官判案,比如一个犯人能不 能够被假释,但是我们怎么知道机器学习的模型它是公正的呢,它是不是有种族歧视的问题 呢。旁边的人就会欢呼,给它胡萝卜吃。

前行居士 921

可解释的机器学习

原文标题 |Interpretable Machine Learning 作者 |Parul Pandey 译者 |intelLigenJ(算法工程师)、鸢尾 编辑 | 王立鱼 原文链接: https://towardsdatascience.com/interpretable-machine-learning-1dec0f2f3e6b 图源Pexels的Pix...

AI 研习社的博客 7859

机器学习的可解释性:理解算法的决策过程

1.背景介绍 机器学习(Machine Learning)是人工智能(Artificial Intelligence)的一个分支,它涉及到计算机程序自动学习和改进其自身的能力。在过去的几年里,机器学习已经成为许多领域的核心技术,例如图像识别、自然语言处理、推荐系统等。然而,尽管机器学习算法在许多任务中表现出色,但它们的决策过程往往是黑盒式的,这使得人们难以理解它们如何到达某个决策。这就是所谓的可...

AI天才研究院 1946

可解释人工智能XAI

随着各界对AI伦理的日益重视,AI系统的可解释性也逐渐成为热点,甚至上升到立法和监管的要求。许多人工智能领域的专家都把 2021 年视为“AI 可解释元年”,在这一年,不仅政府出台相应的监管要求,国内外许多科技公司,譬如谷歌、微软、IBM、美团、微博、腾讯等,也都推出了相应的举措。人工智能被采用需具备以下5个要求:有效性、负责任、隐私保护、可信任以及可解释性。2021年11月,联合国 UNESCO通过的首个全球性的Al伦理协议《人工智能伦理建议书》,提出的十大Al原则就包括“透明性与可解释性”。

weixin_42863719的博客 7505

XAI-可解释的人工智能

机器学习的巨大成功导致了大量的人工智能(AI)应用程序。持续的进步有望产生能够自我感知,学习,决定和行动的自主系统。然而,这些系统的有效性受到机器当前无法向人类用户解释其决策和行动的限制(上图)。国防部(DoD)面临着需要更智能,自主和共生系统的挑战。如果未来的战士能够理解,适当地信任并有效地管理新一代的人工智能机器合作伙伴,那么可解释的人工智能 - 特别是可解释的机器学...

草棚 8758

可解释性人工智能(XAI)概述

人工智能(AI)的发展速度迅猛,并在许多领域取得了显著的成就。然而,随着AI系统的复杂性不断增加,人们开始关注它们的决策过程是否能够解释和理解。这就引出了可解释性人工智能(XAI)的概念。可解释性人工智能旨在使AI系统的决策过程能够被人类理解和解释。它不仅仅关注结果,还关注AI系统是如何得出这些结果的。通过提供对决策背后的逻辑和推理的解释,XAI可以帮助人们更好地理解和信任AI系统。XAI的重要性在于其潜在的社会和经济影响。

从事移动开发八年,csdn博客专家,阿里云特邀专家,华为云云享专家,高级网络信息安全工程师,大数据工程师(高级),python技术开发(高级),HarmonyOS 应用开发者高级认证,现在某学校任教。 2万+

人工智能可解释性分析(一)导论(初稿)

让人工智能教人类学习,德国一个激光加工企业博士,发现利用激光加工过程中,有些参数会发生变化,这会影响加工质量,而想要得到这些参数,必须停机才可以,但停机的成本又太高,于是他用神经网络训练了可以实时预测参数的模型,准确率很高,然后他用可解释性分析,可视化的分析了如何获得这个参数,工人根据可视化过程去学习推算参数,竟然真的提高了很多,这个方法很简单,但这个应用场景下却从未有人成果尝试,于是这个博士,横扫了改领域的论文。:就是得到卷积核参数,和其对应的特征图,卷积核又分浅层,中层,高层,不同层提取的特征不同。

weixin_48878618的博客 1163
上一篇: 彻底搞懂机器学习中的正则化
下一篇: 【小样本学习】什么是小样本学习?这篇综述文章用166篇参考文献告诉你答案...
机器学习算法那些事
博客等级 码龄9年 1633粉丝 62原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值