TPSeNCE: Towards Artifact-Free Realistic Rain Generation for Deraining and Object Detection in Rain

TPSeNCE: Towards Artifact-Free Realistic Rain Generation for Deraining and Object Detection in Rain

摘要

雨天生成算法可能提高雨天场景的去雨算法泛化性和场景理解。但是，由于缺乏适当的约束，它们会产生伪影和失真，并难以控制产生的降雨量。在本文中，我们提出了一个 image-to-image translation framework 来生成真实的雨天图像。我们首先引入了一个Triangular Probability Similarity (TPS)约束来引导生成的图像朝向清晰和多雨的图像，从而最大限度地减少降雨生成过程中的伪影和失真。与不加选择地将负样本从锚点上推开的传统的对比学习方法不同，我们提出了Semantic Noise Contrastive Estimation(SeNCE)策略并且基于清晰图像和雨天图像之间的语义相似性以及锚点和负样本之间的特征相似性，重新评估负样本的推力。实验证明，在生成真实降雨时，伪影和失真最小，这有利于图像降噪和降雨中的目标检测。此外，该方法可用于生成逼真的雪景和夜景图像，突显了其更广泛的适用性。

引言

传统基于模型的降雨生成方法，依赖于过于简单的假设和手工制作的先验，无法准确模拟不同类型的实际降雨，相比之下，数据驱动的深度学习方法，如UNIT等非配对图像到图像的翻译方法，已经证明了它们在不同天气条件下翻译图像的能力，然而，由于缺乏适当的约束，这些方法在产生降雨时往往会产生伪影和失真。