Cross-View Image Synthesis using Conditional GANs
-
Cross-View Image Synthesis using Conditional GANs
-
作者
- Krishna Regmi and Ali Borji
-
单位
- 中佛罗里达大学计算机视觉研究中心
-
idea
-
由于跨视角,各种问题比较难以解决
-
使用Conditional generative adversarial networks
-
提出了两种结构,Crossview Fork 和 Crossview Sequential,用来处理不同分辨率(64*64, 256 * 256)
-
现在的问题
-
空中图像比街景图像覆盖的地面区域更大,而街景图像比空中图像包含更多有关物体(例如房屋,道路,树木)的细节。因此,不仅航空图像中的信息太嘈杂,而且街景图像合成的信息量也较少。同样地,网络需要估计很多区域以合成航拍图像。
-
瞬态物体(例如汽车(也包括人))不在图像对的相应位置出现,因为它们是在不同的时间拍摄的
-
街景不同的房屋与鸟瞰图相似。这会导致合成的街景图像包含具有相似颜色或纹理的建筑物,从而阻止了生成建筑物的多样性。
-
由于视角和遮挡,在两种视图中道路之间的变化。虽然道路边缘几乎呈直线形,并且在街景视图中可见,但它们通常被茂密的植被遮挡并在鸟瞰图中扭曲。
-
当使用模型生成的分割图作为基础事实来提高
-
-
-

这篇博客由中佛罗里达大学计算机视觉研究中心的Krishna Regmi和Ali Borji撰写,探讨了跨视角图像合成的挑战,如信息过载、瞬态物体不匹配和建筑多样性丢失等问题。他们提出利用Conditional GANs(条件生成对抗网络),设计了两种新结构——Crossview Fork和Crossview Sequential,来处理不同分辨率的图像。研究证明了cGANs的适应性和可解释性,并提出了一种通用的Image-to-Image Translation框架。然而,模型在处理道路变化、遮挡和标签噪声时仍面临困难。
最低0.47元/天 解锁文章
751

被折叠的 条评论
为什么被折叠?



