RepVGG: Making VGG-style ConvNets Great Again(CVPR 2021)

最新推荐文章于 2024-12-04 01:00:00 发布
原创 最新推荐文章于 2024-12-04 01:00:00 发布 · 494 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能

论文地址：https://arxiv.org/abs/2101.03697

  1. Contributions
    在GPU上，3x3卷积的计算密度（理论运算量除以所用时间）可达1x1和5x5卷积的四倍。在训练时，使用一个类似ResNet-style的多分支模型，而推理时转化成VGG-style的单路模型。利用了多分支模型训练时的优势（性能高）和单路模型推理时的好处（速度快、省内存）。
  2. Architecture
    [图片]

仅使用3 × 3 conv和ReLU，通过结构重参数化技术，将训练时多分支转换为推理时单一路径
re-parameterization
[图片]

RepVGG在训练时每一层都有三个分支，分别是identify，1x1，3x3
1x1卷积层：用0填充为3x3卷积
identify：构建了一个做了恒等映射3x3的卷积层
用卷积可加性原理，将三个分支的卷积层和bias对应相加组成最终一个conv3x3的形式即可
[图片]

对于图像分类，使用global average pooling，然后使用全连接层作为head。对于其他任务，使用特定的head
（1）stage1分辨率很高，这很耗时，因此只使用一层
(2)最后的stage应该有更多的通道，所以只使用一层来保存参数
（3） 大多数层放在倒数第二阶段（ImageNet上的输出分辨率为14×14），参考的resnet

总结：
（1）推理时的等价性不代表训练时的等价性，直接训练一个 3x3 卷积最终也会得到同样形状的参数，虽然形状相同，但性能不同
（2）添加一些能在推理阶段去掉的参数，也许会work
（3）1x1卷积的表征能力弱于3x3卷积，因为前者可以看作一个有很多参数为0的3x3卷积，但是1x1 + 3x3的性能却好于3x3 + 3x3，一个强结构加一个弱结构大概率好于两个强结构相加
3. Experiments
ImageNet-1K
[图片]

使用简单的数据增强（随机裁剪和左右翻转）
使用Winograd算法加速3×3 conv（仅当步幅为1时）
Cityscapes
[图片]

参考官方在ResNet-50/101的最后两个阶段使用Dilated Convolution，RepVGG的最后两个阶段使用Dilated Convolution
但由于dilated conv效率低下，RepVGG-fast仅仅在stage4的最后4层和stage5的唯一一层使用Dilated Convolution
由实验结果得出，使用更多的dilated conv并不能提高性能

代维7
关注
＜论文翻译＞RepVGG: Making VGG-style ConvNets Great Again
行步至春深
03-22 1818
RepVGG:让VGG风格的卷积网络再一次伟大 作者 ![test](https://img-blog.csdnimg.cn/20210322111226782.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDk5NzgwMg==,size_16,color_FFFFFF,t_70) 摘要 我们提出了一个简单但功能强大的卷
【论文阅读】RepVGG: Making VGG-style ConvNets Great Again（CVPR2021）
络小绎
05-06 843
论文题目：RepVGG: Making VGG-style ConvNets Great Again 论文地址：https://arxiv.org/abs/2101.03697 代码地址：https://github.com/DingXiaoH/RepVGG 文章贡献： 1. 提出RepVGG网络，实现精度与速度的权衡； 2. 提出structural re-parameterization ，将多分支的训练模型解耦成普通结构用于推理； 3.展示了RepVGG在图像分类和语义分割方面的...
【RepVGG】《RepVGG：Making VGG-style ConvNets Great Again》
bryant_meng
10-17 658
CVPR-2021
RepVGG-重参数化Backbone | Making VGG-style ConvNets Great Again
weixin_42096202的博客
01-12 2456
Abstract: 本文提出了一个简单但功能强大的卷积神经网络架构，该架构推理时候具有类似于VGG的骨干结构，该主体仅由3 x 3卷积和ReLU堆叠组成，而训练时候模型采用多分支拓扑结构。 训练和推理架构的这种解耦是通过结构重参数化技术实现的，因此该模型称为RepVGG。 在ImageNet上，据我们所知，RepVGG的top-1准确性达到80％以上，这是老模型首次实现该精度。 在NVIDIA 1080Ti GPU上，RepVGG模型的运行速度比ResNet-50快83％，比ResNet-101快101％.
RepVGG（Re-parameterization VGG）: Making VGG-style ConvNets Great Again
胖胖大海的博客
02-06 1217
鉴于多分支模型训练性能好，推理性能差，单分支扁平化模型训练性能差，推理性能好的情况，将二者综合，试图构建一种网络模型，在模型训练阶段使用多分支训练获得更好的训练性能，在模型推理阶段将训练好的多分支模型恒等转换为单分支的扁平化模型，推理阶段的网络模型中只有3x3的卷积和ReLU激活这两种操作。这其中的核心问题就是如何把多分支的模型转换为一个单分支的模型？RepVGG里面把这个过程叫做结构重参数化技术。
RepVGG: Making VGG-style ConvNets Great Again
03-08 954
提出了一个推理时类似VGG的只包含3X3卷积核Relu层但是训练时却是多分枝的RepVGG。它通过在参数化技术解耦了训练和推理，让模型拥有快速推理的同时也拥有高精度的表现。
CVPR 2021 | RepVGG: Making VGG-style ConvNets Great Again阅读分享（keras实现）
u011447962的博客
06-06 818
RepVGG: Making VGG-style ConvNets Great Again paper:https://arxiv.org/pdf/2101.03697.pdf code:https://github.com/DingXiaoH/RepVGG 摘要 提出了一个简单而强大的卷积神经网络结构，它具有一个类似VGG的推理时间体，只由3×3卷积和ReLU组成，而训练时间模型有一个多分支拓扑。训练时间和推理时间体系结构的解耦是通过结构再参数化技术实现的，因此该模型被命名为RepVGG。在Ima
【论文阅读】RepVGG: Making VGG-style ConvNets Great Again
hu_yinghui的博客
10-06 889
【论文阅读】RepVGG: Making VGG-style ConvNets Great Again 提出了一种类似VGG的推理时间体，仅由3×3卷积和ReLU的堆栈组成，而训练时间模型具有多分支拓扑。这种训练时间和推理时间结构的解耦是通过结构重新参数化技术实现的，因此该模型被命名为RepVGG，模型的运行速度比ResNet-50快83%，比ResNet-101快101%，具有更高的精度，与最先进的模型（如EfficientNet和RegNet）相比，显示出良好的精度-速度权衡。
rep论文阅读4:RepVGG:Making VGG-style ConvNets Great Again
weixin_44600457的博客
05-06 879
利用结构重参数化“复兴”VGG式单路极简架构，一路3x3卷到底，在速度和性能上达到SOTA水平
[RepVGG] RepVGG：Making VGG-style ConvNets Great Again(CVPR.2021)
Ah丶Weii
03-04 561
paper：https://arxiv.org/abs/2101.0369 code：https://arxiv.org/abs/2101.0369 1. Motivation ​ 如今更复杂的卷积网络可以取得更大的精度，但是相对于简单的卷积网络来说，也有2种缺点，首先是多分支结构中复杂的设定，以及复杂卷积网络的计算资源的开销。 ​ 同时，其他simple ConvNets的性能并不能比得过complicated ConvNets。 2. Contribution 本文的贡献如下： 本文提出了Rep..
RepVGG-caffe:此网只应天上有，人间能得几回训Making VGG-style ConvNets Great Again (Caffe)
05-27
RepVGG咖啡因 这是的caffe演示，您可以从下载转换后的模型，我们还提供，就好像您想通过caffe进行训练一样。 襟翼 RepVGG-A0.prototxt layer name Filter Shape Output Size Params Flops Ratio conv1 (48, 3, 3, 3) (1, 48, 112, 112) 1296 16257024 1.194% conv2 (48, 48, 3, 3) (1, 48, 56, 56) 20736 65028096 4.776% conv3 (48, 48, 3, 3) (1, 48, 56, 56) 20736 65028096 4.776% conv4 (96, 48, 3, 3)
RepVGG网络
qq_54372122的博客
04-10 509
作者单位：清华大学(丁贵广团队), 旷视科技(孙剑等人), 港科大, 阿伯里斯特威斯大学提出了一种简单而强大的卷积神经网络结构，其推理阶段是仅由3*3卷积和RELU组成VGG风格的结构，训练阶段则具有多分支结构。这种训练-推理的解耦是利用一种叫做“重参数化（re-parameterization）”的技术实现的，因此，该网络被称为RepVGG。在ImageNet上能够达到超过80%的top-1准确率，这是直通式网络第一次达到如此高的性能。
(CVPR-2021)RepVGG：让 VGG 风格的 ConvNet 再次伟大
顾道长生的科研笔记
02-03 2785
我们提出了一种简单但功能强大的卷积神经网络架构，它具有类似 VGG 的推理时间主体，仅由3×33 \times 33×3卷积和 ReLU 堆栈组成，而训练时间模型具有多分支拓扑。这种训练时间和推理时间架构的解耦是通过结构重参数化技术实现的，因此该模型被命名为 RepVGG。据我们所知，在 ImageNet 上，RepVGG 达到了超过 80% 的 top-1 准确率，这对于普通模型来说是第一次。
【论文笔记】RepVGG: Making VGG-style ConvNets Great Again
chairon的博客
09-22 981
code很多因素影响推理速度，FLOPs的数量值不能真实反应实际的速度。网络推理时是一条单分支结构。只使用3x3卷积核ReLU激活函数。证明了kernel=3的有效性 网络简单，没有复杂的超参数。RepVGG是由RepVGGBlock堆叠的简单网络，能很好的达到速度和精度的折中。证明了该网络在分类和分割上的有效性。 通过对普通卷积进行编码得到的一条单分支网络，也是 一种 re-parameterization method。 W=diag(a)I+diag(b)Wnorm W = diag(a)I + di
Backbone - RepVGG: Making VGG-style ConvNets Great Again
清欢
01-17 662
文章目录0. 前言1. 要解决什么问题2. 用了什么方法3. 效果如何4. 还存在什么问题&可借鉴之处 0. 前言 相关资料： arxiv github 论文解读（作者本人解读，其实已经说得很清楚了）：本文很多内容直接复制这一片。其实更建议大家看作者人本的文章，嘿嘿。 论文基本信息 领域：图像分类 作者单位：清华&旷视科技 发表时间：2021.1 一句话总结：解耦模型训练与模型部署，训练分支模型，经过等价转换变为单路模型，最终部署单路模型 1. 要解决什么问题 先定义下单
【网络理解】RepVGG: Making VGG-style ConvNets Great Again
zengwb的博客
01-15 2157
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、Netron模型可视化二、代码实现总结 前言 本文主要是对RepVGG的讲解 论文：https://arxiv.org/pdf/2101.03697.pdf GitHub：https://github.com/DingXiaoH/RepVGG 参考博客 一、Netron模型
RepVGG: Making VGG-style ConvNets Great Again——让VGG风格的卷积神经网络再次伟大
Together_CZ的博客
12-04 965
RepVGG: Making VGG-style ConvNets Great Again——让VGG风格的卷积神经网络再次伟大
Repvgg: Making vgg-style convnets great again
最新发布
07-23
**RepVGG: Making VGG-Style ConvNets Great Again** 是一种通过结构重参数化（Structural Re-parameterization）技术，将训练时的多分支复杂结构转换为推理时的单路VGG风格结构（仅含3×3卷积和ReLU）的卷积神经网络设计方法。以下是其核心思想与实现的分步解析： --- ### **1. 核心动机** - **VGG风格的优势**： - 结构简单（仅堆叠3×3卷积和ReLU），硬件友好（适合并行计算）。 - 但纯VGG网络在深层时易梯度消失，性能落后于ResNet等复杂结构。 - **现有结构的矛盾**： - 训练时需多分支结构（如ResNet的残差连接、Inception的多路径）提升梯度流动。 - 推理时多分支增加内存访问开销（MACs），降低实际速度。 - **RepVGG的解决方案**： - **训练时**：采用多分支结构（如ResNet的恒等映射+1×1卷积分支）。 - **推理时**：通过重参数化将多分支合并为单路3×3卷积，实现“训练复杂、推理简单”。 --- ### **2. 结构重参数化技术** #### **(1) 训练阶段的多分支设计** RepVGG的训练块（Block）包含三个并行分支： 1. **3×3卷积分支**：主路径，提取局部特征。 2. **1×1卷积分支**：调整通道数，增加非线性。 3. **恒等映射（Identity）分支**：短连接，缓解梯度消失。 **数学形式**： 输入 \( x \)，输出 \( y \) 为： \[ y = \text{ReLU}(\text{BN}_3(\text{Conv}_3(x)) + \text{BN}_1(\text{Conv}_1(x)) + \text{BN}_0(x)) \] 其中 \( \text{Conv}_3 \) 是3×3卷积，\( \text{Conv}_1 \) 是1×1卷积，\( \text{BN}_i \) 是批归一化层。 #### **(2) 推理阶段的单路转换** 通过以下步骤将多分支合并为单个3×3卷积： 1. **BN融合**： - 将每个分支的卷积（Conv）和批归一化（BN）合并为带偏置的卷积： \[ \text{Conv}_{\text{fused}} = \gamma \cdot \text{Conv} / \sqrt{\sigma^2 + \epsilon} + (\beta - \gamma \cdot \mu / \sqrt{\sigma^2 + \epsilon}) \] 其中 \( \gamma, \beta \) 是BN的缩放和平移参数，\( \mu, \sigma^2 \) 是均值和方差。 2. **1×1卷积→3×3卷积**： - 用零填充将1×1卷积的权重矩阵扩展为3×3（中心为原权重，四周为零）。 3. **恒等映射→3×3卷积**： - 将恒等映射视为一个特殊的3×3卷积，其权重矩阵中心为1，其余为零。 4. **分支合并**： - 将三个分支的3×3卷积权重和偏置相加，得到最终的3×3卷积： \[ W_{\text{final}} = W_3 + W_{1\to3} + W_{\text{id}\to3}, \quad b_{\text{final}} = b_3 + b_{1\to3} + b_{\text{id}\to3} \] **效果**： - 推理时模型变为纯VGG风格（仅3×3卷积+ReLU），速度更快（实测在GPU上比ResNet50快13%）。 - 参数和计算量与训练时相同（因重参数化无额外开销）。 --- ### **3. RepVGG的核心设计** #### **(1) 阶段式架构** - 类似ResNet，分多个阶段（Stage），每个阶段内堆叠相同结构的Block。 - **下采样**：通过步长为2的3×3卷积实现，同时通道数翻倍。 #### **(2) 通道数配置** - 浅层（如Stage1）通道数较少（如64），深层（如Stage4）通道数较多（如512）。 - **优势**：平衡计算量和表达能力，避免深层参数过多。 #### **(3) 训练技巧** - **数据增强**：采用AutoAugment或RandAugment提升泛化性。 - **标签平滑**：缓解过拟合（平滑系数0.1）。 - **混合精度训练**：加速训练并减少显存占用。 --- ### **4. 性能对比** | 模型 | 参数量（M） | Top-1准确率（ImageNet） | 推理速度（img/s, V100 GPU） | |---------------|-------------|--------------------------|-----------------------------| | ResNet50 | 25.6 | 76.5% | 1236 | | RepVGG-A0 | 8.3 | 72.4% | 3448（+179%） | | RepVGG-B1 | 51.8 | 78.4% | 1472（+19%） | | RepVGG-B3 | 103.9 | 80.5% | 831 | - **优势**：在相似参数量下，RepVGG的推理速度显著优于ResNet（尤其低参数量模型）。 - **代价**：训练时需多分支结构，可能增加内存占用（但可通过梯度检查点缓解）。 --- ### **5. 代码实现（PyTorch示例）** #### **(1) 训练块定义** ```python import torch import torch.nn as nn class RepVGGBlock(nn.Module): def __init__(self, in_channels, out_channels, stride=1): super().__init__() self.stride = stride self.conv1 = nn.Conv2d(in_channels, out_channels, 1, 1, 0, bias=False) self.conv3 = nn.Conv2d(in_channels, out_channels, 3, stride, 1, bias=False) self.bn1 = nn.BatchNorm2d(out_channels) self.bn3 = nn.BatchNorm2d(out_channels) self.bn_id = nn.BatchNorm2d(in_channels) if stride == 1 else None self.relu = nn.ReLU(inplace=True) def forward(self, x): id_out = 0 if self.stride == 1: id_out = self.bn_id(x) out3 = self.bn3(self.conv3(x)) out1 = self.bn1(self.conv1(x)) return self.relu(out3 + out1 + id_out) ``` #### **(2) 重参数化转换** ```python def repvgg_convert(block): # 融合BN到Conv def fuse_bn(conv, bn): w = conv.weight std = (bn.running_var + bn.eps).sqrt() t = (bn.running_mean - bn.bias) / std w_fused = w * (bn.weight / std).reshape([-1, 1, 1, 1]) b_fused = bn.bias + (bn.weight * t) - std * (w * t).sum([1, 2, 3]) return nn.Conv2d(conv.in_channels, conv.out_channels, 3, conv.stride, 1, bias=True) # 转换3×3分支 conv3_fused = fuse_bn(block.conv3, block.bn3) # 转换1×1分支为3×3 conv1_fused = nn.Conv2d(block.conv1.in_channels, block.conv1.out_channels, 3, 1, 1, bias=True) conv1_fused.weight.data.zero_() conv1_fused.weight.data[:, :, 1, 1] = block.conv1.weight.data conv1_fused.bias.data = block.bn1.bias - block.bn1.running_mean * block.bn1.weight / ( (block.bn1.running_var + block.bn1.eps).sqrt() ) # 合并分支 final_conv = nn.Conv2d( conv3_fused.in_channels, conv3_fused.out_channels, 3, conv3_fused.stride, 1, bias=True ) final_conv.weight.data = conv3_fused.weight.data + conv1_fused.weight.data if block.stride == 1: id_conv = nn.Conv2d(block.bn_id.num_features, block.bn_id.num_features, 3, 1, 1, bias=True) id_conv.weight.data.zero_() id_conv.weight.data[:, :, 1, 1] = 1.0 final_conv.weight.data += id_conv.weight.data final_conv.bias.data = conv3_fused.bias.data + conv1_fused.bias.data + block.bn_id.bias - block.bn_id.running_mean else: final_conv.bias.data = conv3_fused.bias.data + conv1_fused.bias.data return final_conv ``` --- ### **6. 挑战与改进方向** 1. **极深网络的训练稳定性**： - 超过50层的RepVGG可能需引入更多残差连接或梯度裁剪。 2. **移动端部署优化**： - 结合通道剪枝或量化（如INT8）进一步压缩模型。 3. **自适应结构**： - 根据任务动态调整分支数量（如浅层用1×1分支，深层用恒等映射）。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值