论文笔记：Cross Domain Adaptation for on-Road Object Detection Using Multimodal Structure-Consistent Imag

最新推荐文章于 2024-01-28 19:20:27 发布

Leung WaiHo

最新推荐文章于 2024-01-28 19:20:27 发布

阅读量309

点赞数

分类专栏： Domain Adaptation 文章标签：计算机视觉

本文链接：https://blog.youkuaiyun.com/weixin_41978493/article/details/115224348

版权

Domain Adaptation 专栏收录该内容

18 篇文章

订阅专栏

该文介绍了一种新的图像转换方法，针对GAN在处理大或复杂域漂移时的局限性，提出了图像转换结构和循环结构一致性概念。通过多模态结构一致的图像转换网络，实现了在不同目标域间的结构不变转换，尤其适用于从白天到黑夜等场景，以增强目标检测的性能。模型通过学习目标域上的结构，生成多种转换结果，同时保持分割任务的准确性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

论文地址：https://ieeexplore.ieee.org/document/8803261

源码地址：尚未开源

1 Main Idea

基于GAN的方法尽管可视化的效果不错，但是当面临很大或很复杂的域漂移时，在保存图像-目标以及维持结构一致性上表现没有那么好，例如从白天到黑夜。在本文中，作者介绍了图像转换结构（image-translation-structure）以及循环结构一致性（cycle-structure consistency），以生成多种且结构不变的域间转换图像。作者提出一个多模态结构一致的图像转换网络，可以通过将每一张现有的训练图像从起始域转换到多种结果，从而给目标检测带来好处，每个结果都有不同程度目标域上的变换。

2 Proposed Framework

生成器基于一个服从于高斯分布N(0,1)的随机向量生成图像，目的是fool辨别器，并用实现分割子任务，保持图像转变过程中结构的一致性；然后，为了进一步降低可能的映射空间，作者认为映射应该具有循环结构一致性（cycle-structure consistent）。所以，已知转变后的，试图生成一个重组后的图像，其不能被辨别出来，但依然保留有结构上的信息，从而进一步的被分割，使得接近。因此，本文的模型根据图像在目标域上的结构学习多模态图像转换至目标域的方法。