00000cj的博客

尽管ViT和SETR在语义分割中取得了一定的成功，但它们存在一些限制，如输出单尺度低分辨率特征、高计算成本等。此外，现有方法大多关注Transformer编码器的设计，而忽视了解码器对进一步改进的重要性。因此，本文提出了SegFormer，一个同时考虑效率、准确性和鲁棒性的语义分割框架。

作者认为现有的基于FCN的架构在处理长距离依赖信息时存在局限性，这是因为感受野仍然有限。为了克服这一限制，作者提出将语义分割视为序列到序列的预测任务，并使用纯Transformer（不包含卷积和分辨率降低）来编码图像。

本文提出了一种新的语义分割框架，称为双注意力网络（DANet），用于自然场景图像分割。该框架旨在通过自注意力机制分别捕获空间和通道维度上的特征依赖性，以解决现有方法在处理复杂和多样化场景时的局限性。具体包括提出了位置注意力模块和通道注意力模块，分别对空间和通道维度上的语义特征进行建模，以自适应地整合局部特征与全局依赖性。在注意力模块中，通过自注意力机制，模型能够在空间维度上捕捉任何两个位置之间的语义相互依赖性，在通道维度上强调相互依赖的通道映射。

其中 \(\mathbf{H}'_{\mathbf{u}}\) 是 \(\mathbf{H}'\in \mathbb{R}^{C\times W\times H}\) 中位置 \(\mathbf{u}\) 处的特征向量，\(\mathbf{A}_{i,\mathbf{u}}\) 是 \(\mathbf{A}\) 中位置 \(\mathbf{u}\) 通道 \(i\) 处的标量值。在得到 \(\mathbf{Q}\) 和 \(\mathbf{K}\) 后，我们通过。operation来聚合上下文信息。

本文聚焦于用上下文聚合策略context aggregation strategy来处理语义分割问题。本文的启发来源于一个像素的类别应该是这个像素所属对象的类别。本文提出了一个简单有效的方法，对象-上下文表示object-contextual representations，通过利用对应对象的类别来描述一个像素。首先在ground-truth分割的监督下学习目标区域，然后通过聚合目标区域内像素的表示来计算目标区域的表示，最后计算每个像素与每个目标区域的关系并使用object-contextual repre

PointRend主要包含三个部分。

在医学图像分割中任务中通常存在严重的类别不平衡问题，目标前景区域的大小常常比背景区域小几个数量级，比如下图中前景区域比背景区域小500倍以上。分割通常采用的交叉熵损失函数，在高度不平衡的问题上存在着众所周知的缺点即它假设所有样本和类别的重要性相同，这通常会导致训练的不稳定，并导致决策边界偏向于数量多的类别。对于类别不平衡问题，一种常见的策略是对数目多的类别进行降采样来重新平衡类别的先验分布，但是这种策略限制了训练图像的使用。

paper: Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs针对第一个问题，作者提出“空洞卷积”，空洞卷积可以在不增加参数的情况下增大卷积核的感受野。同时去掉后几层的池化层避免池化造成的空间信息的损失。第二个问题是分类网络本身具有的空间平移不变特性造成的，这同时限制了DCNN空间维度的准确性。为了解决这个问题，作者引入了条件随机场（Conditional Random Field, CRF）

paper: U-Net: Convolutional Networks for Biomedical Image Segmentation以MMSegmentation中unet的实现为例，假设batch_size=4，输入shape为(4, 3, 480, 480)。

paper: Fully Convolutional Networks for Semantic Segmentation提出了全卷积的结构，即将分类网络最后的全连接层换成卷积层，从而可以处理任意大小的输入。通过反卷积或插值的方法进行上采样，将输出还原回原始输入大小。在分类网络上进行修改，将全连接层换成卷积层，可以共享前面层的权重，从而进行finetune。提出skip结构，通过融合浅层特征和深层特征，兼顾了浅层的空间细节信息和深层的语义信息，使得最终的分割结果更加精细。这里以MMSegmentation中

paper：Pyramid Scene Parsing Networkcode：GitHub - hszhao/semseg: Semantic Segmentation in Pytorchmmsegmentation/psp_head.py at v0.17.0 · open-mmlab/mmsegmentation · GitHubImportant Observations作者首先观察分析了将FCN方法应用于场景解析（Scene Parsing）时的几种代表性失败的情况，具体有.