pytorch forward两个参数

weixin_41950276

于 2019-04-07 14:57:25 发布

阅读量7.8k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： pytorch

本文链接：https://blog.youkuaiyun.com/weixin_41950276/article/details/89069659

pytorch 专栏收录该内容

7 篇文章

订阅专栏

本文介绍了一个特定的神经网络模块——Channel Attention Block (CAB)，详细解释了其工作原理及实现方式。CAB通过全局池化操作捕捉通道间的依赖关系，并使用两个连续的卷积层进一步精炼这些特征。最后通过Sigmoid激活函数产生注意力权重，以此增强重要特征并抑制不重要的特征。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

以channel Attention Block为例子

class CAB(nn.Module):

    def __init__(self, in_channels, out_channels):
        super(CAB, self).__init__()
        self.global_pooling = nn.AdaptiveAvgPool2d(output_size=1)
        self.conv1 = nn.Conv2d(in_channels, out_channels, kernel_size=1, stride=1, padding=0)
        self.relu = nn.ReLU()
        self.conv2 = nn.Conv2d(out_channels, out_channels, kernel_size=1, stride=1, padding=0)
        self.sigmod = nn.Sigmoid()

    def forward(self, x):
        x1, x2 = x  # high, low
        x = torch.cat([x1,x2],dim=1)
        x = self.global_pooling(x)
        x = self.conv1(x)
        x = self.relu(x)
        x = self.conv2(x)
        x = self.sigmod(x)
        x2 = x * x2
        res = x2 + x1
        return res