ADeLA: Automatic Dense Labeling With Attention for Viewpoint Shift in Semantic Segmentation
要点:
1、处理多摄像机系统中视点变化引起的语义分割性能下降方法
2、现有方法:通过共享空间的域对齐缓解性能下降,并假设从对齐空间到输出的映射是可转移的,但是,视点变化所引发的新内容可能会使有效对齐的空间化为乌有,从而导致消极适应
3、本文方法:
(a)不需要在两个域之间对齐图像的任何统计信息
(b)利用一种新的基于注意力的视图转换网络 view transformation network,只训练彩色图像,为目标产生幻觉语义图像 to hallucinate the semantic images for the
target
(c)在缺乏监督的情况下,由于诱导的信息传输偏差(the induced information transport),视图转换网络依然可以推广到语义图像
(d)为了解决语义图像向语义标签转换过程中的歧义问题,本文将视图转换网络视为(彩色图像隐含的未知映射的)函数表示(* a functional representation of an unknown mapping implied by the color images*),并提出函数标签幻觉法(* functional label hallucination *)(在目标域中生成具有不确定性的伪标签)
图表:
架构: