Beyond Sparsity: Tree Regularization of Deep Models for Interpretability

本文探讨了一种使用树正则化增强深度网络可解释性的方法,介绍了Stanford大学Mike Wu的研究成果,该研究通过树正则化提升深度模型的模仿性,使模型预测过程更易于人类理解和验证。

Beyond Sparsity: Tree Regularization of Deep Models for Interpretability

这篇文章是使用树正则方法对深度网络的可解释性的探索,论文的一作作者为Mike Wu, 时为Stanford University博士一年级学生,该论文发表在AAAI18, 该论文的源代码地址为https://github.com/dtak/tree-regularization-public。

可解释性相关概念

可解释性就是人类的模仿性(human simulatability)。如果人类可以在合适时间内采用输入数据和模型参数,经过每个计算步,作出预测,那么该模型就具备了模仿性。

在医疗中,该模仿性的应用为:给定一个模仿性模型,医生可以根据检查模型的每一步是否违背其专业知识,甚至推断数据中的公平性和系统偏差等,这可以帮助从业者利用正向反馈来对模型进行改进。

本文探讨的主要对象 – 决策树,就具有模仿性。通过决策树,按照相关的基本情况在决策树下一直走下去,就可以理解这些特征并进行预测。

此处树正则化与提升DNN的模仿性之间是否有直接必然联系?

源码执行与演示

首先从官网上下载对应的源码,接着按照README.md文件中的指导,构建conda环境(可选项),然后使用

pip install -r experiments.txt

下载所需要的所有python 包。

(值得注意的是,此处可以进行换源,参照http://blog.youkuaiyun.com/lambert310/article/details/52412059)

### 解决 Matlab 中稀疏矩阵水平拼接时行数不匹配的报错问题 当尝试在 MATLAB 中对两个或多个稀疏矩阵进行水平拼接(`horzcat`),如果这些矩阵的行数不同,则会遇到错误提示:“Mismatching number of rows”。为了有效处理这一情况,可以采取以下几种方法: #### 方法一:验证并调整输入矩阵尺寸 确保所有参与拼接操作的稀疏矩阵拥有相同的行数是一个基本前提。可以通过检查各个矩阵的具体维度来确认这一点。 ```matlab % 假设有两个稀疏矩阵 A 和 B 需要被水平拼接 [mA, ~] = size(A); [mB, ~] = size(B); if mA ~= mB error('Matrix dimensions do not match'); end C = horzcat(A,B); % 或者使用方括号表示法 C = [A,B]; ``` 此段代码首先获取了 `A` 和 `B` 的行数,并进行了比较;如果不相等则抛出异常终止程序执行[^1]。 #### 方法二:填充缺失行以实现一致化 对于那些确实存在结构差异的情况——即某些矩阵可能缺少部分行的数据,在这种情况下可以选择通过适当的方式填补空白区域使得它们具备相同数量的行再继续后续的操作。 ```matlab function paddedSparseMatrix = padRowsToMatch(sparseMatrices) maxRows = max(cellfun(@(m)size(m,1), sparseMatrices)); paddedSparseMatrix = cell(size(sparseMatrices)); for idx = 1:length(sparseMatrices) currentMatrix = sparseMatrices{idx}; [~, numCols] = size(currentMatrix); if size(currentMatrix, 1) < maxRows paddingSize = maxRows - size(currentMatrix, 1); zeroPadding = sparse(paddingSize, numCols); paddedSparseMatrix{idx} = vertcat(currentMatrix, zeroPadding); else paddedSparseMatrix{idx} = currentMatrix; end end end ``` 上述函数接收一个包含若干个待处理稀疏矩阵的单元数组作为参数,计算其中的最大行数后依次遍历每一个成员对象并向其追加必要的零值填充直至达到统一标准为止[^2]。 #### 方法三:利用元胞数组间接完成组合 另一种思路是先将各独立组件存入到同一个元胞内然后再一次性转换成最终目标形式的大规模稀疏阵列。 ```matlab cellArray = {sparse(3,4), sparse(3,5)}; combinedSparseMatrix = cell2mat(cellArray); ``` 这种方法适用于已知所有子块都具有兼容性的场景下快速构建复合体而不必显式关心内部细节上的微调工作。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值