Few-shot Daily 2023/01/19

公众号：皮皮嬉

Few-shot相关

---

Class Enhancement Losses with Pseudo Labels for Zero-shot Semantic Segmentation

莫纳什大学

https://arxiv.org/pdf/2301.07336.pdf

最近的掩码建议mask proposal模型显著提高了零样本语义分割的性能。然而，在这些方法的训练过程中使用“背景”嵌入是有问题的，因为产生的模型往往会过度学习，并将所有未见过的类别分配为背景类，而不是它们的正确标签。此外，它们忽略了文本嵌入的语义关系，其对零样本预测具有很高的信息量，因为看到的类可能与未见过的类有密切的关系。为此，提出了新的类增强损失，在训练过程中绕过背景嵌入的使用，同时通过对相似性得分进行排序来利用文本嵌入和掩码建议之间的语义关系。为进一步捕捉可见类和未见类之间的关系，本文提出一种利用预训练视觉-语言模型的有效伪标签生成管道。在几个基准数据集上的广泛实验表明，所提出方法在零样本语义分割方面取得了整体最佳性能。该方法是灵活的，也可以应用于具有挑战性的开放词汇表语义分割问题。

---

MADAv2: Advanced Multi-Anchor Based Active Domain Adaptation Segmentation

北京大学，鹏城实验室，腾讯，微软

https://arxiv.org/pdf/2301.07354.pdf

https://github.com/munanning/MADAv2

无监督域自适应已被广泛应用于注释数据稀缺的任务中。不幸的是，将目标域分布无条件地映射到源域可能会扭曲目标域数据的基本结构信息，从而导致较差的性能。为了解决这一问题，我们首先提出在语义分割任务中引入主动样本选择来辅助域适应。通过创新地采用多个锚点而不是单一中心点，源域和目标域都可以更好地表征为多模态分布，从而从目标域中选择更具互补性和信息性的样本。只需要少量的工作来手动注释这些活动样本，就可以有效地缓解目标域分布的失真，从而获得较大的性能增益。此外，提出了一种强大的半监督域自适应策略，以缓解长尾分布问题，进一步提高分割性能。在公共数据集上进行了大量的实验，结果表明，所提出的方法在很大程度上优于最先进的方法，并实现了与全监督上限相似的性能，即GTA5上的71.4% mIoU和SYNTHIA上的71.8% mIoU。每个成分的有效性也通过彻底的消融研究得到验证。

---

OnePose++: Keypoint-Free One-Shot Object Pose Estimation without CAD Models

浙江大学，像衍科技，悉尼大学

https://arxiv.org/pdf/2301.07673.pdf

https://zju3dv.github.io/onepose_plus_plus/

我们提出了一种无需CAD模型的目标姿态估计新方法。之前基于特征匹配的方法OnePose在one-shot设置下显示了有希望的结果，它消除了CAD模型或特定对象训练的需要。然而，OnePose依赖于检测可重复的图像关键点，因此在低纹理的物体上容易失败。我们提出了一个无关键点的姿态估计pipeline，以消除可重复的关键点检测的需要。在无检测器特征匹配方法LoFTR的基础上，我们设计了一种新的无关键点SfM方法来重建目标的半稠密点云模型。给定用于目标姿态估计的查询图像，2d-3d匹配网络无需首先检测图像中的关键点，直接在查询图像与重建的点云模型之间建立2d-3d对应关系。实验表明，所提出的pipeline在很大程度上优于现有的one-shot无CAD模型方法，即使对于低纹理对象，也可与LINEMOD上基于CAD模型的方法相媲美。我们还收集了一个由40个低纹理物体的80个序列组成的新数据集，以促进未来对一次性物体姿态估计的研究。