《HRNet-OCR：Object-Contextual Representations for Semantic Segmentation》论文笔记

参考代码：HRNet-OCR

1. 概述

导读：这篇文章研究了语义分割中上下文信息的提取与表达，其方法设计的灵感来自于：分割中一个像素的label是其对应目标（object）的类别，那么基于此文章便是通过不同object区域的表达去关联并表达一个像素（特征图上）的信息，从而建立更加具有区分性质的上下文信息。对此完成该目的需要3个步骤：
1）通过在GT的监督训练下得到图片的分割结果；
2）在分割结果的基础上按照分割的类别划分区域（对应文章的object），使用区域中像素去计算区域的表达（OCR，Object-Contextual Representations）；
3）建立每个像素与不同区域之间的联系，这里通过加权的方式去聚合不同区域的表达，从而去增强像素信息的表达；
文章的方法提供了另外一种角度的上下文信息增强方法，通过添加SegFix的后处理过程可以进一步优化分割边界，从而文章的整体方法HRNet+OCR+SegFix取得相当不错的分割结果。

文章的方法是通过在分割网络的中间阶段通过一个分割预测头来生成一个corse的分割结果，再在此基础上使用文章提到的object-contextual representation去优化特征图中的像素，因而文章的方法将相同目标类别的上下文信息与不同不目标类别的上下文信息进行区分，也就是说文章的方法是基于目标的（object based）。

在常见的上下文信息提取的方法中有比较常用的基于空间聚合的也有基于attention方式聚合的，这里将他们与文章的方法进行比较：

• 1）基于空间的方法，这类中ASPP/PPM是典型的代表，其区分的是当前pixel与周围位置的pixel。以典型的ASPP方式为例子，对于一个增强之后的像素其输出可以描述为：
  $$y_i^d=\sum _{p_s=p_i+d{\Delta }_t}{K}_t^d{x}_s$$
  其中，$x_s$代表的是输入特的pixel，$K$代表的是对应空洞卷积的参数，$d$代表膨胀系数。在下图中展示的是文章的方法和ASPP方法使用使用上下文上的不同：
  
  从下表可以看看与其它空间聚合类方法的性能比较：
  
• 2）基于attention的方法，这类中DANet/ CFNet/ OCNet是较为典型的代表，多使用attention的方式去建立当前像素和整体像素之间的关系，并没有去考虑像素所属的不同目标属性，其输出可以描述为：
  y i = ρ ( ∑ s ∈ I w i s δ ( x s ) ) y_i=\rho(\sum_{s\in I}w_{is}\delta(x_s)) yi​=ρ(s∈I∑​w<