Panoptic Segmentation全景分割

paper

keyPoint

• 概念：
  • things - 可数的 objects (countable obects)，如 people, animals, tools 等。
  • stuff - 相同或相似纹理或材料的不规则区域，如 grass，sky，road 等的关注较少。
    
• 新的任务场景 - 全景分割 Panoptic Segmentation(PS)
  • 全景(panoptic) - 对视野内所有物体进行描述”including everything visible in one view”。
  • 全景分割 - 图片内的每个像素都必须分配 semantic label 和 instance id. 如 Figure 1d。
    相同 label 和相同 id 的像素属于相同 object；忽略 stuff labels 的 instance id。
• 全景分割与实例分割，语义分割的不同：
  • 对比语义分割，全景分割需要区分不同的 object instances；对于 FCN-based 方法具有挑战性。
  • 对比实例分割，全景分割必须是非重叠的(non-overlapping)；对于 region-based 方法具有挑战性。
  • 全景分割需要同时识别 stuff 和 things。

与语义分割区别

• 相同之处：
  • 均需要对图像的每个像素设定 semantic label。
  • 如果 groundtruth 未指定 instances 信息，或者所有的 categories 都是 stuff，二者相同。
• 不同之处：
  • 当有 thing categories 时，图片中有多个 instances 时，则二者有区别。

与实例分割区别

• 实例分割 - 对图片中的每个 object 进行分割，允许 objects 重叠(overlapping)；
• 全景分割 - 图片每个像素只有一个 semantic label 和 一个 instance id 不允许重叠。

Confidence scores

• 类似于语义分割，而不同于实例分割，全景分割不需要每个 segment 的confidence scores。

参考：https://blog.youkuaiyun.com/zziahgf/article/details/79063398