论文精读6：Cross-View Image Synthesis using Conditional GANs

---

• Cross-View Image Synthesis using Conditional GANs

  • 作者

    • Krishna Regmi and Ali Borji

  • 单位

    • 中佛罗里达大学计算机视觉研究中心

  • idea

    • 由于跨视角，各种问题比较难以解决

    • 使用Conditional generative adversarial networks

    • 提出了两种结构，Crossview Fork 和 Crossview Sequential，用来处理不同分辨率（64*64， 256 * 256）

    • 现在的问题

      • 空中图像比街景图像覆盖的地面区域更大，而街景图像比空中图像包含更多有关物体（例如房屋，道路，树木）的细节。因此，不仅航空图像中的信息太嘈杂，而且街景图像合成的信息量也较少。同样地，网络需要估计很多区域以合成航拍图像。

      • 瞬态物体（例如汽车（也包括人））不在图像对的相应位置出现，因为它们是在不同的时间拍摄的

      • 街景不同的房屋与鸟瞰图相似。这会导致合成的街景图像包含具有相似颜色或纹理的建筑物，从而阻止了生成建筑物的多样性。

      • 由于视角和遮挡，在两种视图中道路之间的变化。虽然道路边缘几乎呈直线形，并且在街景视图中可见，但它们通常被茂密的植被遮挡并在鸟瞰图中扭曲。

      • 当使用模型生成的分割图作为基础事实来提高生成图像的质量时，标签噪声和模型错误会在结果中引入一些伪像

  • method

    • 以pix2pix网络为baseline，提出两种 new cGAN network，分别为 X-Fork （对baseline修改，在倒数第二个块处分叉以生成两个输出，即目标视图图像和分割图）和 X-Seq （是具有连接两个baseline network 的序列）

      • 
      • 

  • Contribution

    • 证明了 conditional GANs广泛的适应性和可解释性

    • 提出了一个“Image-to-Image Translation”的通用框架，并分析几个重要架构选择的效果