AAAI论文最佳解读|Panoptic Scene Graph Generation with Semantics-prototype Learning-water-merged

论文标题

Panoptic Scene Graph Generation with Semantics-Prototype Learning 全景场景图生成与语义原型学习

论文链接

Panoptic Scene Graph Generation with Semantics-Prototype Learning论文下载

论文作者

Li Li, Wei Ji, Yiming Wu, Mengze Li, You Qin, Lina Wei, Roger Zimmermann

内容简介

本文提出了一种新的框架ADTrans，用于全景场景图生成（PSG），旨在解决由于标注者的语言偏好和谓词之间的语义重叠导致的偏置谓词标注问题。偏置标注使得PSG模型在构建清晰的决策平面时面临困难，从而影响其实际应用。ADTrans通过自适应地将偏置谓词标注转换为信息丰富且统一的标注，确保在迁移过程中保持一致性和准确性。该框架通过观察每个谓词类中表示的不变程度，学习不同强度的无偏原型，并持续测量每个表示与其原型之间的分布变化，从而识别和筛选潜在的偏置数据。实验结果表明，ADTrans显著提高了基准模型的性能，达到了新的最先进水平，并在多个数据集上展现出良好的泛化能力和有效性。

分点关键点

1. ADTrans框架

   • ADTrans框架旨在自适应地将偏置谓词标注转换为统一的标注。通过观察每个谓词类的表示不变性，学习无偏原型，确保数据迁移过程中的一致性和准确性。

2. 偏置标注问题

   • 偏置标注源于标注者的不同语言偏好和谓词之间的语义重叠，导致模型在学习一致的视觉到语义映射时遇到困难。ADTrans通过识别和筛选偏置数据来解决这一问题。
     

3. 无偏原型学习

   • 采用对比学习方法，增强类内凝聚力和类间分离性，学习无偏谓词表示。通过动态更新原型空间，确保谓词表示的无偏性。
     

4. 实验结果

   • 实验表明，ADTrans在多个数据集上显著提高了模型性能，达到了新的最先进水平，展示了其在处理偏置标注问题上的有效性和泛化能力。

论文代码

代码链接：https://github.com/lili0415/PSG-biased-annotation

中文关键词

1. 全景场景图生成
2. 偏置标注
3. 语义原型学习
4. 数据迁移
5. 对比学习
6. 模型性能提升

AAAI论文合集：

AAAI论文合集

希望这些论文能帮到你！如果觉得有用，记得点赞关注哦~ 后续还会更新更多论文合集！！