RepVGG

前言

相比于之前的vgg网络提出了结构重参数化。

结构重参数化技术

在训练的时候采用图b的形式
推理采用图C

RepVGG Block详解

training mode

为什么训练时要采用多分支结构 ？

增加模型的表征能力

为什么推理时要将多分支模型转换成单路模型 ？

1更快
2省内存
3更加灵活
从并行度（计算设备的利用率）的角度看
MAC内存访问成本
残差结构后面需要有一个相加的操作 所以最开始的输入 x 占用内存 要一直保留 直到 相加操作完成
第二个结构是类似于直接在 x上 进行运算 从始至终占用  记得之前代码里有一个 （inpalce=true）

结构重参数化

减少参数
加速推理

公式

结构重参数化-融合Conv2d和BN

结构重参数化-将1x1卷积转换成3x3卷积

结构重参数化-将BN转换成3x3卷积

结构重参数化-多分支融合

第一项对应的是我们第一个block上对应的输出（3*3卷积的计算），i对应的是我们输入的特征图，k1对应的是3*3卷积层他的kernel的应该去权重，B1对应的它的偏置。

模型配置

带g表示采用了组卷积group convolution，
但不是所用的卷积层都替换成了组卷积
而是对[2, 4, 6, 8, 10, 12, 14, 16, 18, 20, 22, 24, 26]这些序号未知数的卷积层给替换成了组卷积
它是从stage2开始数的，并且索引为1

表2：-A，-B的区别
网络的深度方向

表3：由- a 和 -b 定义的 RepVGG 模型。
不同配置的一个详细参数
表中的a,b都是用来控制网络的宽度的。