语义分割|ECCV2020|论文无公式解读|Object-Contextual Representations for Semantic Segmentation

最新推荐文章于 2022-08-16 15:16:39 发布

原创

最新推荐文章于 2022-08-16 15:16:39 发布 · 970 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #人工智能 #深度学习 #计算机视觉

本文提出了一种名为OCR（对象上下文表示）的方法，用于解决语义分割中的上下文聚合问题。与传统多尺度上下文方法不同，OCR强调对象级别的信息，通过像素与物体区域特征的关系增强表示，从而提高语义分割的准确性。实验证明，OCR在Cityscapes和ADE20K等基准测试中表现出色。

ECCV2020:用于语义分割的对象上下文表示

摘要

本文研究了语义分割中的上下文聚合问题。由于像素的标签是像素所属对象的类别，我们提出了一种简单而有效的方法-对象上下文表示，通过利用对应物体类别的表示来描述像素，简单来说，就是一个像素对应着一个目的物体的类别，比如某一块汽车中的像素就对应着一个汽车，我们就用汽车来代表描述这个像素。主要思想是显式地把像素分类问题转化成物体区域分类问题，这与语义分割问题的原始定义是一致的，即每一个像素的类别就是该像素属于的物体的类别，换言之，与 PSPNet 和 DeepLabv3+ 的上下文信息最主要的不同就在于 OCR 方法显式地增强了物体信息。

一、OCR方法

（1）从骨干网络得到特征表示，我们将上下文像素划分为一组软对象区域，每个区域对应一个类，生成的一个简单粗略的语义分割结果（软对象区域）作为 OCR 方法的一个输入，矩阵表示为bch*w；

（2）根据软对象区域（b * c * h * w）和网络最深层输入的特征表示(b * k * h * w)表示计算出 K 组向量，即对象区域表示（Object Region Representations），其中每一个向量对应一个语义类别的特征表示，矩阵表示为b * c * k * 1;

（3）计算网络最深层输出的像素特征表示（Pixel Representations）与计算得到的对象区域特征表示（Object Region Representation）之间的关系矩阵(b * ( h * w ) * k )，然后根据每个像素和物体区域特征表示在关系矩阵中的数值把物体区域特征加权求和，得到最后的物体上下文特征表示 OCR (Object Contextual Representation)，矩阵表示为b* k * h * w 。

通俗讲法：
1、将上下文像素划分为一组软对象区域，每个软对象区域对应一个类别，即从深层网络计算出的粗分割。
2、通过聚合相应对象区域中的像素表示作为每个对象区域的表示。
3、使用对象上下文表示扩