蓝鲸鱼的博客

参数重组是一种最近比较火的设计网络的思想，即利用网络的重参数化，把多层合成一层，进行网络加速。在我之前写的一些参数重组的博客中（链接），介绍了RepVGG、ACNet、DBB等设计于分类网络的替代卷积核。容易想到，如果使用类似的结构，将原本的普通卷积替换为空洞卷积，是否就能将参数重组应用于语义分割呢？于是，我对各个替代卷积核对语义分割经典网络中的卷积核进行了替换，在文末附完整代码。以PSPNet为例，替换卷积后的RepPSP如下：import mathimport torchimport torc

本系列文章介绍一种最近比较火的设计网络的思想，即利用网络的重参数化（意义在于训练时间模型有一组参数，而推理时间模型有另一组参数），把多层合成一层，进行网络加速。RepNAS: Searching for Efficient Re-parameterizing Blocks中将参数重组的思想应用于网络结构搜索技术。该方法的核心思想是在训练过程中将不同块之间的一些分支修剪掉，如下图所示：它有两个基本步骤：给定CNN架构。在原始卷积运算中插入一些线性运算作为其分支，如下图所示。对于每个分支，设置一个表

1. RepVGGRepVGG: Making VGG-style ConvNets Great Again详解提出了一种替代卷积核：使用3x3conv+1x1conv+identity代替原本单一的3x3conv2. ACNetACNet: Strengthening the Kernel Skeletons for Powerful CNN via Asymmetric Convolution Blocks详解提出了一种替代卷积核：使用1x3conv+3x1conv+3x3conv代替原本单

本系列文章介绍一种最近比较火的设计网络的思想，即利用网络的重参数化（意义在于训练时间模型有一组参数，而推理时间模型有另一组参数），把多层合成一层，进行网络加速。Diverse Branch Block: Building a Convolution as an Inception-like Unit中了介绍一些可以用于参数重组的变换，可以根据这些变换组合成为一个可替代卷积层的模块，在训练过程中使用这些复杂的模块，在测试过程中将模块参数重组为简单的卷积。1. 6种参数变换在文中，作者总结了6种变换来对D

本系列文章介绍一种最近比较火的设计网络的思想，即利用网络的重参数化（意义在于训练时间模型有一组参数，而推理时间模型有另一组参数），把多层合成一层，进行网络加速。本文介绍的ResRep: Lossless CNN Pruning via Decoupling Remembering and Forgetting是将参数重组应用在剪枝的一篇论文，提出了一种新的无损通道修剪方法。在传统剪枝方法，conv参数同时涉及“记忆”（目标函数）和“遗忘”（惩罚损失），以实现两者的权衡。也就是说，传统的方法强迫每一个渠道

本文介绍的两篇论文应用了最近一种比较火的设计网络的思想，即利用网络的重参数化，把多层合成一层，进行加速。1. RepVGG: Making VGG-style ConvNets Great AgainRepVGG有5个阶段，每一阶段开始时通过stride=2的卷积进行下采样。下图展示了一个特定阶段的前4个层次。RepVGG的创新点在于，它只在训练阶段使用shortcut结构，而在测试阶段将参数重组，目的是减少参数数量，并在测试时去掉shortcut结构。1.1 BN层和卷积层的参数重组为卷积层令

本系列文章介绍一种最近比较火的设计网络的思想，即利用网络的重参数化（意义在于训练时间模型有一组参数，而推理时间模型有另一组参数），把多层合成一层，进行网络加速。1. RepMLP: Re-parameterizing Convolutions into Fully-connected Layers for Image Recognition一个能够较好完成图像识别的网络需要具有如下三个特征：局部先验：卷积神经网络之所以能够成功识别图像，是因为图像的局部性(即一个像素与其相邻像素的关系比遥远像素的关