【阅读笔记】Layer-wise relevance propagation for neural networks with local renormalization layers

最新推荐文章于 2025-05-30 00:41:42 发布
原创 最新推荐文章于 2025-05-30 00:41:42 发布 · 1w 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #图像识别 #可解释性 #反向传播 #相关性

本文介绍了如何将Layer-wise Relevance Propagation (LRP) 方法应用于具有局部归一化层的神经网络，以研究图像像素与分类结果之间的相关性。通过LRP，可以反向传播相关性，理解模型决策过程。文章探讨了LRP的两种规则——ϵ-rule和β-rule，并尝试将其扩展到非线性局部归一化层。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Binder, Alexander, et al. “Layer-wise relevance propagation for neural networks with local renormalization layers.” International Conference on Artificial Neural Networks. Springer, Cham, 2016.

本文是探究的是图片上的像素与最终结果的相关性。创新点是把 Layer-wise Relevance Propagation (LRP) 扩展到了非线性映射上。

Layer-wise Relevance Propagation for Neural Networks

在神经网络中，每一层的输出 x j x_j xj​都是输入 x i x_i xi​和激活函数 g g g的结果（作者写着主要是约定一下各个符号的意思）：
x j = g ( ∑ I w i j x i + b ) x_j=g(\sum_{I}w_{ij}x_i+b) xj​=g(I∑​wij​xi​+b)

给定一个图像 x x x和分类器 f f f， x x x上每一个像素 p p p都有一个 pixel-wise relevance score R p ( 1 ) R^{(1)}_p Rp(1)​使得：
f ( x ) = ∑ p R p ( 1 ) f(x)=\sum_pR^{(1)}_p f(x)=p∑​Rp

最低0.47元/天 解锁文章

200万优质内容无限畅学
Shallowing Deep Networks: Layer-Wise Pruning Based on Feature Representations—基于特征表示的分层剪枝
安静到无声
03-02 785
摘要 近年来，卷积神经网络(Convolutional Neural network, CNNs)在众多应用中取得了成功。然而，这些成功伴随着计算成本和计算资源需求的显著增加，这严重阻碍了在计算能力有限的设备上使用复杂的CNN。在这项工作中，我们提出了一种基于特征表示的分层剪枝方法，旨在将复杂的CNN简化为具有同等性能的更紧凑的CNN。与以往的基于权值信息进行连接式或过滤式剪枝的参数修剪方法不同，我们的方法是通过研究卷积层中学习到的特征来确定冗余参数，剪枝过程是在层级别进行的。实验表明，该方法能够显著降低.
人工智能/机器学习基础知识——Layer-wise Normalization
WindGrin_的博客
04-11 877
人工智能/机器学习基础知识——Layer-wise Normalization
【可解释论文阅读】13.LRP（Layer-wise relevance propagation相关性分数逐层传播）
热门推荐
isLauraL的记录簿
11-21 1万+
论文题目 《On Pixel-Wise Explanations for Non-Linear Classifier Decisions by Layer-Wise Relevance Propagation》 期刊 PLOS one 一个风评不佳的水刊，但这篇论文算是精品，很多顶会顶刊都有引用 论文内容 目的 找出输入像素x的每个输入像素x(d)x_{(d)}x(d)​对特定预测f(x)f(x)f(x)的贡献 主要思想的公式 f(x)≈∑d=1VRdf(x)\approx \sum_{d=1}^VR_df
Transformer——Q141 验证Layer-wise自适应速率缩放（LARS）的有效性
最新发布
墨顿随笔
05-30 734
Layer-wise 自适应速率缩放（LARS）算法通过独特的自适应学习率调节机制，有效解决了传统优化器在面对大规模深度学习模型和海量数据训练时的诸多问题。在图像识别、自然语言处理以及大语言模型等众多领域的实际应用中，LARS 都展现出了显著的有效性，能够提高模型的训练效率和性能。然而，LARS 也存在超参数敏感、计算开销增加和理论分析不足等缺点。通过动态调整超参数、结合其他优化方法以及优化模型结构等策略，可以进一步提升 LARS 的性能和适用性。
【论文阅读】LRP：Layer-Wise Relevance Propagation
lad_288的博客
12-04 1973
在逐层相关性传播的定义中，总相关性被约束为从一层到另一层保持不变，总节点相关性必须等于传入该节点的所有相关性消息的总和，也等于传出到同一节点的所有相关消息的总和。需要注意的是，该定义并不是作为具有不同最小值的目标的算法或解决方案给出的。相反，它是作为一组约束给出的，解决方案应该满足约束。因此，在这些约束条件下，具有不同结果解的不同算法是可接受的。
使用LRP(Layer-wise relevance propagation)对模型进行解释
一个科研人的技术博客
04-11 6160
使用LRP(Layer-wise relevance propagation)对模型进行解释
探索轨迹预测模型：层间相关性传播（Layer-wise Relevance Propagation）
gitblog_00051的博客
06-07 611
探索轨迹预测模型：层间相关性传播（Layer-wise Relevance Propagation） 在深度学习驱动的人群行为理解中，准确地预测行人轨迹是一项关键任务。本项目提供了一种可视化网格交互模块决策过程的方法——层间相关性传播（LRP），以帮助我们更好地理解模型的内在工作原理。通过对D-Grid和S-Grid两种结构的对比，该项目展示了如何利用领域知识产生更接近人类实际行走习惯的轨迹预测...
layer-wise relevance propagation
06-28
层级相关传播（layer-wise relevance propagation）是一种解释深度神经网络的方法，它通过反向传播算法来计算每个输入特征对输出结果的贡献程度，从而解释模型的决策过程。该方法可以帮助我们理解模型是如何对不同的...
人工智能-项目实践-数据增强-使用LSTM及gupia因子数据预测未来收益，使用LRP(layer-wise relevance
12-28
使用LSTM及股票因子数据预测未来收益，使用LRP(layer-wise relevance propagation)增强网络可解释性 模型结构 包括数据预处理、模型训练测试及LRP反向传播三个部分 代码框架 preprocessing.py：因子数据预处理文件...
论文阅读笔记（五十四）：V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation
sunshine_010的博客
05-14 7650
Abstract. Convolutional Neural Networks (CNNs) have been recently employed to solve problems from both the computer vision and medical image analysis fields. Despite their popularity, most approaches ...
TorchLRP:分层明智相关性传播（LRP）的PyTorch 1.6实施
05-21
pytorch LRP的实现 PyTorch对线性层和卷积层的一些层明智相关性传播（LRP）规则[1、2、3]的实现。 这些模块装饰了torch.nn.Sequential ， torch.nn.Linear和torch.nn.Conv2d ，以便能够使用autograd算法来计算说明...
On Pixel-Wise Explanations for Non-Linear Classifier Decisions by Layer-Wise Relevance Propagation笔记
qq_42310545的博客
10-16 552
本文与基于梯度的可解释性方法不同，提出一个对非线性分类器的在像素级别进行分解，来理解分类决策的通用可解释性模型。可以可视化单个像素对预测结果的贡献，以热力图的方式表明模型的关注区域。
Deep Neural Networks are Easily Fooled High Confidence Predictions for Unrecognizable Images
weixin_37958272的博客
03-12 284
Subclass Distillation 当一个大型的“教师”神经网络在标记数据上训练后，教师分配给错误类的概率揭示了许多关于教师泛化方式的信息。通过训练一个小的“学生”模型来匹配这些概率，就有可能把教师的大部分泛化能力转移到学生身上，通常产生的小型模型比直接在训练数据上训练学生要好得多。当有许多可能的类时，迁移效果最好，因为更多的是关于教师学习的函数，但是在只有少数可能的类的情况下，我们表明，我们可以通过强迫教师将每个类划分为许多子类来改进迁移，这些子类是在监督训练期间发现的。 训练学生最小化两个不同交
【深度学习】逐层贪婪预训练 (greedy layer-wise pre-training)
JNing
12-18 1万+
【深度学习】逐层贪婪预训练 (greedy layer-wise pre-training)
【deep learning学习笔记】Greedy Layer-Wise Training of Deep Networks
xceman1997的专栏
08-11 9730
标题：Greedy Layer-Wise Training of Deep Networks 作者：Yoshua Bengio 发表于：NIPS’2006 主要内容： 很经典的文章了。在Hinton提出 stack RBM 组成的DBN之后，Bengio这篇文章一方面验证DBN模型，另一方面讨论可能的扩展。 对于shallow architecture模型，如SVM，
联邦学习专题：Layer-wised Model Aggregation for Personalized Federated Learning 个性化联邦学习分层模型聚和
tiger00O的博客
03-05 3351
个性化联邦学习(pFL)不仅可以从广泛的分布式数据中捕获公共先验，而且还支持针对异构客户端的定制模型。过去几年的研究采用加权聚合的方式生成个性化模型，通过校准整个模型参数或损失值的距离来确定权重，尚未考虑对聚合过程的层级影响，导致模型收敛滞后，在非iid数据集上个性化不足。在本文中，我们提出了一种新的pFL训练框架，称为分层智能个性化联邦学习(pFedLA)，可以从不同的客户端中识别每一层的重要性，从而能够优化具有异构数据的客户端的个性化模型聚合。具体来说，我们在服务器端为每个客户端使用一个专用的超级网络，
【论文笔记】Layer-Wise Weight Decay for Deep Neural Networks
xhyu61的博客
05-24 1284
是你把我带出来深渊，让我看到外面的世界，可现在却要离开我。——《Lycoris Recoil》井之上泷奈
【阅读笔记】神经网络中的LRP及其在非线性神经网络中的运用
ChangHao888的博客
10-28 1万+
神经网络中的LRP(Layer-Wise Relevance Propagation) 是神经元的输出，是神经元的激活函数
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值