蓝鲸鱼的博客

在本文中，我们将介绍知识蒸馏论文Structured Knowledge Distillation for Dense Prediction。在论文中，考虑到稠密预测是一个结构化预测问题，本文提出将结构化知识从教师网络提取到学生网络。具体来说，我们研究了两种结构化蒸馏方案：成对蒸馏，通过建立静态图来提取成对相似点运用对抗性训练来提炼整体知识的整体提炼法。...

本文介绍语义分割蒸馏论文：Knowledge Adaptation for Efficient Semantic Segmentation。在论文中，作者提出了一种新的面向语义分割的知识提取方法，如下图所示：整个框架中，教师网络输出分辨率较大的特征（如8s），学生网络输出较小的特征（如16s总步幅）。知识的定义分为两部分：第一部分将知识从教师网络转化为信息丰富的压缩空间。通过训练自编码器将知识压缩成一个紧凑的格式，使学生网络更容易学习，否则由于固有结构的差异就会困难得多。第二部分旨在从教师网络中

参数重组是一种最近比较火的设计网络的思想，即利用网络的重参数化，把多层合成一层，进行网络加速。在我之前写的一些参数重组的博客中（链接），介绍了RepVGG、ACNet、DBB等设计于分类网络的替代卷积核。容易想到，如果使用类似的结构，将原本的普通卷积替换为空洞卷积，是否就能将参数重组应用于语义分割呢？于是，我对各个替代卷积核对语义分割经典网络中的卷积核进行了替换，在文末附完整代码。以PSPNet为例，替换卷积后的RepPSP如下：import mathimport torchimport torc

最近Transformer在CV领域很火，Transformer是2017年Google发表的Attention Is All You Need中主要是针对自然语言处理领域提出的，后被拓展到各个领域。本系列文章介绍Transformer及其在各种领域引申出的应用。本文介绍的SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers将Transformer应用于语义分割。SegFormer是一个将tr

1.FCN论文详解链接2. UNet论文详解链接3. SegNet论文详解链接4. DeepLab论文详解链接5. PSPNet论文详解链接6. HRNet论文详解链接

本文介绍同一作者在Deep High-Resolution Representation Learning for Human Pose Estimation和SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers中提出的两篇高分辨率网络，称为HRNetv1和HRNetv2。HRNetv1论文SegFormer: Simple and Efficient Design for Semantic

语义分割代码解读二（DeepLab, PSPNet）1. DeepLabDeepLabv1的贡献主要有两个：第一个贡献是使用了空洞卷积。空洞卷积的概念我们在语义分割代码解读一中介绍过了。论文去掉了最后两层池化层，因为池化会模糊位置信息，但是池化的一个作用是增大感受野，因此为了取代池化层，论文使用了空洞卷积，它可以在不增加参数的情况下增大感受野。第二个贡献是使用条件随机场CRF来提高分类精度。但是CRF不重要，因为在DeepLabv3中就舍弃了。DeepLabv2的贡献主要也有两个：第一个贡献是将

语义分割综述——代码篇1.FCN全卷积网络的实现方法即根据论文中的顺序依次通过几层卷积层，之后通过几层dropout层，得到的预测结果反向传递，计算损失并学习。下面是用pytorch实现fcn的一个例子，注意例子中每一层的卷积核数和论文中有差别。class FCN32s(nn.Module): def __init__(self, n_class=21): super(FCN32s, self).__init__() # conv1 self.