Bottleneck结构（附代码）

最新推荐文章于 2025-03-03 07:30:00 发布

蓝羽飞鸟

最新推荐文章于 2025-03-03 07:30:00 发布

阅读量7.7k

点赞数 10

CC 4.0 BY-SA版权

分类专栏： DeepLearning 文章标签：深度学习计算机视觉 pytorch

本文链接：https://blog.youkuaiyun.com/level_code/article/details/123615378

DeepLearning 专栏收录该内容

69 篇文章

订阅专栏

本文介绍了ResNet网络中的Bottleneck结构，该结构通过1x1卷积减少通道数，接着使用3x3卷积进行特征提取，最后再用1x1卷积恢复通道数，从而在增加网络深度的同时减少了计算复杂度。Bottleneck设计在保持模型准确性的同时，有效控制了计算资源的消耗。代码展示了BottleneckBlock的实现细节，包括批量归一化、卷积和残差连接等操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Bottleneck结构出现在resnet中，参考paper
结构如下
在这里插入图片描述
左边是一个resnet block，右边是一个和它时间复杂度类似的bottleneck block。

bottleneck由三层组成：1x1, 3x3, 1x1，其中1x1负责缩小放大channel。

为什么要用这个结构呢，paper里是这样说的：
一般来说，增加网络的深度可以提高accuracy, 但是会增加计算量，而bottleneck既增加了深度，计算量又可以得到节约。

参考代码

class Bottleneck2D(nn.Module):
    expansion = 2

    def __init__(self, inplanes, planes, stride=1, downsample=None):
        super(Bottleneck2D, self).__init__()

        self.bn1 = nn.BatchNorm2d(inplanes)
        self.conv1 = nn.Conv2d(inplanes, planes, kernel_size=1)
        self.bn2 = nn.BatchNorm2d(planes)
        self.conv2 = nn.Conv2d(planes, planes, kernel_size=3,
                               stride=stride, padding=1)
        self.bn3 = nn.BatchNorm2d(planes)
        self.conv3 = nn.Conv2d(planes, planes * 2, kernel_size=1)
        self.relu = nn.ReLU(inplace=True)
        self.downsample = downsample
        self.stride = stride

    def forward(self, x):
        residual = x

        out = self.bn1(x)
        out = self.relu(out)
        out = self.conv1(out)

        out = self.bn2(out)
        out = self.relu(out)
        out = self.conv2(out)

        out = self.bn3(out)
        out = self.relu(out)
        out = self.conv3(out)

        if self.downsample is not None:
            residual = self.downsample(x)

        out += residual

        return out