论文精读8：Coming Down to Earth: Satellite-to-Street View Synthesis for Geo-Localization

---

• Coming Down to Earth: Satellite-to-Street View Synthesis for Geo-Localization

  • 时间

    • 2021

  • 作者

    • PhD Student Technical University of Munich

    • Aysim Toker

  • idea

    • 极坐标转换 polar coordinate transformation 是一个出色的图像检索的预处理步骤

    • GAN是一个出色的生成逼真图像的工具，但是在用于跨视角视觉定位的时候，并不足够的准确，缺乏强烈的激励来让图像生成保留输入图像的内容，而且不允许端到端的培训

    • 因此对于图像预处理的要求以保留更多图像本身的内容为重点

    • 现在的工作往往把图像合成和图像检索分割开来，但是协同合并的效果是很显著的；所以这篇论文的核心思想是把跨视角图像检索和

    • 所以他就把极坐标转换和GAN两者结合起来了，先用极坐标系转换将卫星图像转换为合成街景图像，再利用这个初步合成的街景图像作为GAN的输入，最后利用GAN将合成街景图像生成为真实街景图像。也就是说本篇论文在使用GAN的时候，先用合成街景图像作为先验输入，可以减少GAN直接从卫星图像转为街景图像的难度，并且增加精度

  • method

    • 极坐标转换

      • 俯视图卫星图像中的圆形线在地面视图中变成水平线。反之亦然，在新的坐标集合中，放射线与垂线对应。

      • 极坐标转换尊重源图像的内容，基本上保留了图像场景中的基本布局

      • 有缺点

    • 很难完全消除差距，比如天空就不能完美的转换还原

    • GAN

      • 可以通过GAN生成高度逼真的图像

    • 系统结构图

      • 

    • 这篇论文需要补充一些GAN的相关知识，还需要去读一下GAN的有关论文