创新融合！ResNet+Transformer“黄金组合”引领科研新风！专家点赞有内涵！

关注gongzhonghao【学术鲸】，解锁更多SCI相关资讯！

在当今计算机视觉领域，ResNet和Transformer这对 “黄金搭档” 依然是研究热点。ResNet以卓越的局部特征捕捉能力成为21世纪最具影响力的论文之一，Transformer 则在全局建模方面表现出色。

它们在医疗、工业质检等垂直领域是刚需，且随着硬件优化和多模态融合，二者结合愈发强大，顶级会议上不断涌现变体。但如今仅靠结构微调和刷点难以取得突破，必须聚焦垂直领域痛点，深入研究计算代价控制和复杂数据处理等问题，才能推动这一组合迈向新的高度。小图特为大家带来三篇相关研究的论文，助你找到自己的keyanzhil

PRUNING BY EXPLAINING REVISITED: OPTIMIZING ATTRIBUTION METHODS TO PRUNE CNNS AND TRANSFORMERS

方法：

文章首先基于可解释性人工智能（XAI）领域的归因方法，提出了一个通用的DNN剪枝框架，并以层相关传播（LRP）方法为例，展示了如何通过优化其超参数来实现更有效的剪枝效果，具体过程包括定义优化目标、测量模型性能以及采用网格搜索和贝叶斯优化技术进行超参数搜索。接着，针对CNN和Transformer架构中的不同组件（如卷积滤波器、注意力头和线性层），通过计算其归因分数来确定剪枝顺序，从而精准地移除对模型性能影响较小的组件。最后，文章还讨论了如何根据不同网络部分选择合适的LRP规则组合，