【全景分割】Panoptic Segmentation阅读笔记

Introduction

Panoptic：including everything visible in one view
Panoptic Segmentation：为图片内的每个像素分配semantic label 和 instance id

stuff：可数的目标，如：人、动物、车
thing：具有相似纹理或者材料的不规则区域，如：草地、天空、马路

全景分割任务，从任务目标上可以分为 object instance segmentation 子任务与 stuff segmentation 子任务。

全景分割与实例分割，语义分割的不同：
与语义分割不同之处在于：语义分割不需要区分单个目标实例；
与实例分割不同之处在于：全景分割的目标不能重叠（non-overlapping）

Output Format：Stuff and thing labels

$\mathcal{L}$是semantic label 的集合：L:={0,…,L−1}\mathcal{L} :=\{0, \dots, L-1\}L:={0,…,L−1}

全景分割为每个像素分配两个标签：$\left(l_i,z_i\right)\in \mathcal{L}\times \mathbb{N}$

$l_i$表示像素i的semantic class，$z_i$表示像素i的instance id

$\mathcal{L}$包括两个子集${\mathcal{L}}^{\mathrm{S}\mathrm{t}}$和${\mathcal{L}}^{\mathrm{T}\mathrm{h}}$，分别对应stuff和thing标签，且满足如下关系：
$$\mathcal{L}={\mathcal{L}}^{\mathrm{S}\mathrm{t}}\cup {\mathcal{L}}^{\mathrm{T}\mathrm{h}}$$$${\mathcal{L}}^{\mathrm{S}\mathrm{t}}\cap {\mathcal{L}}^{\mathrm{T}\mathrm{h}}=\varnothing$$

$l_i\in {\mathcal{L}}^{\mathrm{T}\mathrm{h}}$时，$\left(l_i,z_i\right)$相同，像素属于同一目标，即具有相同label和id的像素属于同一个目标；
$l_i\in {\mathcal{L}}^{\mathrm{S}\mathrm{t}}$时，$z_i$忽略，即stuff只有semantic class，其instance id被忽略

注意：不是所有的像素都需要有一个semantic label
对于类别之外，或者不确定的像素可以分配一个void label，在检测和评估均被忽略

task metric

1、Theorem 1 unique matching

2、PQ computation

对每个类别，根据unique matching可以将predicted Segments 和 GT Segments分成三个子集：
TP：matched pairs of segments
FP：unmatched predicted segments
FN：unmatched ground truth segments

$$\mathrm{P}\mathrm{Q}=\underset{\text{ segmentation quality (SQ })}{\underbrace{\frac{{\sum }_{(p,g)\in TP}\mathrm{IoU}(p,g)}{|TP|}}}\times \underset{\text{ recognition quality (RQ) }}{\underbrace{\frac{|TP|}{|TP|+\frac{1}{2}|FP|+\frac{1}{2}|FN|}}}$$

RQ：$F_1$ Score
SQ： average IoU of matched segments

dataSet