语义分割|Rethinking Semantic Segmentation: A Prototype View

 

论文地址：https://arxiv.org/abs/2203.15102

代码地址： https://github.com/tfzhou/ProtoSeg

前言

当前语义分割方式大都基于FCN或注意力机制的网络设计和基于参数化的softmax或像素查询的掩码解码策略，可以被归结为使用参数可学习模型（像是通过softmax学习或者Transformer中使用的向量查询，其参数都是可学习的），但是参数学习方式存在一定的局限性，本文提出基于不可学习圆形的非参数化替代方式。本文模型将每个类别表示为一组不可学习的原型，完全依赖于该类别中几个训练像素的平均特征，通过与原型接近程度的非参数化检索来实现密集预测，可以使模型能够直接塑造像素嵌入空间，并通过优化嵌入与原型之间的排列，使得恒定数量的参数处理任意数量的类别。

摘要 

现有的基于FCN的模型通常在像素级特征上应用Softmax参数进行密集预测；基于Transformer的“非FCN”模型则遵循标准的掩码解码机制，通过墨迹的视觉嵌入估计softmax分布，甚至有研究者推测学习的查询向量以捕获类属性，但是该方式缺乏深入分析。