Global Attention Mechanism: Retain Information to Enhance Channel-Spatial Interactions(GAM)
本文提出了一种通过减少信息弥散和放大全局交互表示来提高深度神经网络性能的全局注意力机制。本文引入了3D-permutation 与多层感知器的通道注意力和卷积空间注意力子模块。在CIFAR-100和ImageNet-1K上对所提出的图像分类机制的评估表明,本文的方法稳定地优于最近的几个注意力机制,包括ResNet和轻量级的MobileNet。
原创
2021-12-16 15:08:57 ·
1401 阅读 ·
1 评论