注意力机制论文研读

本文作者通过研读多篇关于注意力机制的论文,包括基于注意力的图像分类和细粒度物体识别,探讨了在卷积网络中不同位置引入注意力机制的影响。作者强调理解原始英文文献的重要性,并对追踪state of the art的途径提出了疑问,是否应关注竞赛论文或顶级会议。此外,还提及了SENET和CBAM等近期模型,计划深入学习并理解这些先进的注意力机制。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

参考:
计算机视觉中的注意力机制

然后找了个博客,里面有论文引用,这篇博客真不错,把其论文好好看看
https://blog.youkuaiyun.com/Wayne2019/article/details/78488142

基于注意力机制的细腻度图像分类,里面也有篇论文,值得一看。

另外,我想寻找2018年甚至2019年的这领域的文章。

突然发现一片硕士论文讲述的是注意力机制的,基于注意力机制的图像分类深度学习方法研究,,可以作为我论文行文结构的借鉴。阅读记录如下:
第三章,基于卷积激活输出的多通道注意力机制图像分类,这一章明白,你得前面整它几层卷积,来进行充分提取底层特征,然后后面才好加注意力机制。
实验中提到了,使用了VGG16前几层的权重作为预训练基础网络
换了个说法,把人家预训练好的模型说成包含多层次特征,

还有一篇没下载下来,结合注意力机制的细粒度物体分类技术研究不知道质量如何。

我有种预感,当我读完这些注意力机制的文章之后,当我把最近几年的图像细粒度分类论文看完之后,一定会有自己的想法冒出来。现在我需要知道,卷积网络各层提取的都是些什么特征,如果在前面几层加入注意力机制,和最后再加入注意力机制,那么实际效果有没有区别。

这里我要提一句,吃别人嚼剩下的东西所获取的营养,一定不如第一个人获

在VGG模型中加入注意力机制的预训练有两个方面的影响。首先,注意力机制可以帮助在前面的几层卷积中更充分地提取底层特征,从而增强了模型对图像细节的关注。其次,通过在最后一层或几个最后一层添加注意力机制,可以让模型更加聚焦于感兴趣的区域,以提高图像分类的准确性。 根据引用中的阅读记录,VGG模型的预训练通常使用前几层的权重作为基础网络,这些权重包含了底层特征。通过在这些底层特征上加入注意力机制,可以让模型更加关注图像中的细节并提取更加丰富的特征。这样的做法可以提升图像分类的效果。 此外,引用中提到,预训练网络的特征提取方法可以在深度学习中应用于小数据问题,并具有较好的可移植性。这意味着通过在VGG模型中加入注意力机制进行预训练,可以在其他类似的图像分类任务中使用,而不仅仅局限于特定的数据集和问题。 综上所述,通过在VGG模型中加入注意力机制的预训练,可以提升模型对图像细节的关注和特征的丰富程度,进而提高图像分类的准确性,并具有较好的可移植性。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [注意力机制论文研读](https://blog.youkuaiyun.com/m0_38116269/article/details/89214357)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *3* [Keras实现——预训练卷积神经网络(VGG16)](https://blog.youkuaiyun.com/m0_72662900/article/details/126562165)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值