【论文阅读】Tensor Low-Rank Reconstruction for Semantic Segmentation

论文地址
论文代码
代码暂时未开源
讲解，部分文字出处
**卷积网络中的non-local，**即：某一像素点处的响应是其他所有点处的特征权重和，将每一个点与其他所有点相关联，实现non-local 思想。

摘要

上下文信息在语义分割很重要。基于non-local的self-attention的方法对于上下文信息收集是有效的。
non-local

由于所需的上下文包含空间和通道方面的注意力信息，因此3维是一种合适的表达方式。
但是，这些non-local方法是基于2D相似度矩阵来描述3D上下文信息的，其中空间压缩可能会导致丢失通道方面的注意力。
另一种选择是直接对上下文信息建模而不进行压缩。但是，这种方案面临一个根本的困难，即上下文信息的高阶属性。

本文提出了一种新的建模3D上下文信息的方法，1避免了空间压缩，2解决了高阶难度。

受张量正则-多态分解理论（即高阶张量可以表示为1级张量的组合）的启发，设计了一个从低秩空间到高秩空间的上下文重建框架（即RecoNet）。

1 介绍张量生成模块（TGM），该模块生成许多1级张量以捕获上下文特征片段。
2 使用这些1张量通过张量重构模块（TRM）恢复高阶上下文特征。
3与传统的non-local的方法相比，计算成本要低100倍。

生成-重构

引言

语义分割的目的是为给定的图像分配像素级的预测，需要精细的形状、纹理和类别识别。语义分割中的开创性工作完全卷积网络(FCN)，探索了深度卷积网络在分割任务中的有效性。

上下文信息的进展，但是忽略了通道的重要性
最近，更多的工作从探索上下文信息方面取得了很大的进展，其中基于非局部non-local的方法是最近的主流，这些方法通过对上下文特征的重要性进行评级排序来模拟上下文表示。然而，这样得到的上下文特征缺乏通道维度的重要性，而通道维是上下文的关键组成部分。具体来说，对于一个典型的非局部区块，由两个输入维度分别为H×W×C和C×H×W的矩阵相乘生成二