代码注释A2-Nets: Double Attention Networks

淘尽黄沙后

于 2021-07-16 11:11:16 发布

阅读量801

点赞数

分类专栏：计算机视觉

本文链接：https://blog.youkuaiyun.com/langtaosha1996/article/details/118786118

版权

本文通过深入分析github上的pytorch代码，详细解释了A2-Nets（Double Attention Networks）如何实现双注意力计算。首先，输入经过1*1卷积生成ABV；接着，利用A和B的转置进行矩阵乘以获取全局信息的注意力G；最后，将G与V结合，生成二阶注意力，用于捕获更丰富的特征。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

github pytorch代码

透过代码看其如何实现双注意力计算

self.c_m = c_m
self.c_n = c_n
self.in_channels = in_channels
self.reconstruct = reconstruct
self.convA = nn.Conv2d(in_channels, c_m, kernel_size = 1)
self.convB = nn.Conv2d(in_channels, c_n, kernel_size = 1)
self.convV = nn.Conv2d(in_channels, c_n, kernel_size = 1)
//input用1x1的卷积变成A，B，V（类似self-attention的Q，K，V）

batch_size, c, h, w = x.size()
assert c == self.in_channels, 'input channel not equal!'
A = self.convA(x)  # (B, c_m, h, w) because kernel size is 1
tmpA = A.view(batch_size, self.c_m, h * w)

B = self.c

最低0.47元/天解锁文章