00000cj的博客

本文将卷积神经网络CNN和PID (Proportional-Integral-Derivative)控制器联系起来，并表明一个两分支网络就相当于一个PI控制器，因此本质上存在类似的超调问题。为了解决这个问题，本文提出了一种新的三分支网络架构PIDNet，它包含三个分支分别用来解析细节信息、上下文信息和边缘信息，并采用边界注意力来指导detail branch和context branch的融合。截至发文时间，PIDNet是实时语义分割模型中的SOTA。

本文提出了image cascade network (ICNet)，一个兼顾精度与速度的语义分割模型。它利用低分辨率图像的处理效率和高分辨率图像的处理质量，想法是首先让低分辨率的图像经过完整的分割网络得到一个粗糙的预测图，然后提出了级联特征融合单元cascade feature fusion unit和级联标签指导策略cascade label guidance整合中、高分辨率的特征，然后逐步细化粗预测结果。

本文的创新点提出了一种灵活的轻量级解码器（Flexible and Lightweight Decoder, FLD），减轻了解码器的冗余性，平衡了encoder和decoder的计算成本。提出了一个新的注意力融合模块（Unified Attention Fusion Module, UAFM），利用空间和通道注意力来加强特征表示。提出了Simple Pyramid Pooling Module（SPPM）来聚合全局上下文。

本文的创新点主要是设计了一个新的网络Deep Dual-resolution Network, DDRNet和一个Deep Aggregation Pyramid Pooling Module, DAPPM。在DDRNet中，包含一个high-resolution的spatial分支和一个low-resolution的context分支，作者设计了一种新的bilateral fusion来更好的融合两个分支的信息，具体包括high-to-low fusion和low-to-high fusion。在DAPP

对于ContextPath，在Xception的最后加一个全局平均池化，获得了最大的感受野。因为两个path提取的特征是不同的，spatialpath主要提取了丰富的空间细节特征，而contextpath则主要提取语义信息，因此不能直接通过简单的相加来融合两个path的输出。spatialpath共有三层，每一层包括一个stride=2的卷积后接BN和ReLU，输出特征图的大小是原始输入的1/8，由于较大的spatialsize，其编码了丰富的空间信息，具体如上图(a)所示。......

和v1相比，主要有以下两点改进整体结构如下图所示细节分支和语义分支的具体结构如下表所示细节分支负责提取空间细节信息，即low-level信息，因此该分支需要丰富的通道容量即通道数要大这样才能编码丰富的空间细节特征。同时因为该分支专注于low-level信息，因此需要是一个stride小的浅层结构。综合来看细节分支需要通道数大层数少。此外最好不要使用residualconnection，额外增加内存访问成本降低了速度。......

本文设计了一种新的结构，叫做Short-Term Dense Concatenate module（STDC module），通过少量参数就可获得不同大小的感受野以及多尺度信息。将STDC模块无缝集成到U-net架构中就得到了STDC network，大大提高了语义分割任务中的网络性能。在decoding阶段，本文抛弃了额外添加一条路径的方法，而是采用Detail Guidance来引导低层空间细节信息的学习。首先利用Detail Aggregation module来生成细节的ground truth，