TPAMI 2024 | NICEST：用于鲁棒场景图生成的噪声标签修正与训练

题目：NICEST: Noisy Label Correction and Training for Robust Scene Graph Generation

NICEST：用于鲁棒场景图生成的噪声标签修正与训练

作者：Lin Li; Jun Xiao; Hanrong Shi; Hanwang Zhang; Yi Yang; Wei Liu; Long Chen

---

摘要

几乎所有现有的场景图生成 (SGG) 模型都忽视了主流 SGG 数据集的标注质量，即它们假设：1）所有手动标注的正样本都是完全正确的；2）所有未标注的负样本都是绝对的背景。在本文中，我们认为这两个假设都不适用于 SGG：存在大量“噪声”真实谓词标签，这些标签破坏了这两个假设，并损害了无偏 SGG 模型的训练。为此，我们提出了一种新颖的用于 SGG 的噪声标签修正与样本训练策略：NICEST，通过生成高质量样本和设计有效的训练策略来解决这些噪声标签问题。具体来说，它包括：1）NICE：它检测噪声样本，然后为其重新分配更高质量的软谓词标签。为了实现这一目标，NICE 包含三个主要步骤：负噪声样本检测 (Neg-NSD)、正噪声样本检测 (Pos-NSD) 和噪声样本修正 (NSC)。首先，在 Neg-NSD 中，将其视为一个分布外检测问题，并为所有检测到的噪声负样本分配伪标签。然后，在 Pos-NSD 中，我们使用基于密度的聚类算法来