论文笔记-BANet: Bidirectional Aggregation Network with Occlusion Handling for Panoptic Segmentation

最新推荐文章于 2025-02-14 15:44:41 发布

Lyndsey

最新推荐文章于 2025-02-14 15:44:41 发布

阅读量1.2k

点赞数

CC 4.0 BY-SA版权

分类专栏： # 论文阅读笔记

本文链接：https://blog.youkuaiyun.com/hahameier/article/details/110740614

BANet是为全景分割设计的双向聚合网络，通过实例到语义（I2S）和语义到实例（S2I）模块实现特征交互。论文提出滚动镶嵌算子解决实例到语义特征映射，以及一种无学习的遮挡处理算法，有效处理遮挡问题。在实验中，BANet展现出优越的性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Hello，论文阅读计划的第22篇啦～
22/30

这篇论文来介绍一下全景分割，也是我第一次了解这个课题方向啦。
论文代码：https://github.com/Mooonside/BANet

一、背景介绍

全景分割是计算机视觉中一个新兴的、具有挑战性的问题，它是一个将语义分割(针对背景材料)和实例分割(针对前景实例)统一起来的复合任务。任务的典型解决方案是自上而下的深度学习方式——首先识别实例，然后分配给语义标签。通过这种方式，鲁棒的解决方案产生了两个关键问题:1)如何有效地建模语义分割和实例分割之间的内在交互，以及2)如何鲁棒地处理全景分割的遮挡。

原则上，语义分割和实例分割的任务之间确实存在互补性。语义分割集中于捕捉丰富的像素级信息，用于场景理解。这些信息可以作为有用的上下文线索来丰富实例分割的特征。相反，实例分割产生了对象实例的结构信息(例如，形状)，这增强了语义分割的特征表示的辨别能力。因此，这两个任务之间的相互作用是双向加强和互惠的。然而，先前的工作通常采用单向学习管道来使用来自实例分割的得分图来指导语义分割，导致缺少从语义分割到实例分割的路径。此外，这些实例得分图包含的信息通常是粗粒度的，信道大小非常有限，导致难以编码更细粒度的结构信息用于语义分割。

二、研究内容 & 贡献

鉴于上述问题，我们提出了一个双向聚合网络(双向聚合网络)，称为BANet，用于全景分割，以在特征级别上模拟语义分割和实例分割之间的内在交互。具体来说，BANet在这两个任务之间拥有双向的特征聚合路径，分别对应于两个模块:实例到语义(I2S)和语义到实例(S2I)。S2I将上下文丰富的特征从语义分割传递到实例分割，用于定位和识别。同时，与实例相关的特征，加上更多的结构信息，反馈到语义分割中，以增强语义特征的区分能力。为了实现