Patch-Based Optimization for Image-Based Texture Mapping（SIGGRAPH 17）翻译

   对基于图像的纹理映射进行基于块的优化（Patch-Based Optimization for Image-Based Texture Mapping）

                                                                          SIGGRAPH 2017

                    SAIBI，NIMA KHADEMI KALANTARI，RAVI RAMAMOORTHI（加州大学圣地亚哥分校）

                                                                                                                   ----Translated by George Robots of FDU for CG PJ

                    项目地址：http://cseweb.ucsd.edu/~viscomp/projects/SIG17TextureMapping/

 

摘要

         在为真实世界中物体的几何模型提供纹理映射方面，基于图像的纹理映射是一种常用的手段。尽管利用经过标定的相机及精确的几何结构可以很容易地算出高质量的纹理映射，这种质量会随着不确定性的提高而显著地降低。在本论文中，我们通过提出一种别致的，全局的，基于块的优化系统来合成配准的图像。特别地，我们使用了基于块的合成，通过从原图中抽取信息，来重建一个经配准后光照一致的图像集。该优化系统不仅简便灵活，且相比其他技术（比如局部弯曲）而言，在矫正大范围图像失配上更为合适。该优化问题包括两大步骤，一是搜索块与投票环节，二是重建。实验结果表明：对于经消费级深度相机（如Intel RealSense）扫描的物体来说，我们的方法比之现有方法能够提供更高质量的纹理映射。此外，我们证实了该系统可用于纹理编辑的相关工作，比如补洞、重组、多视角物体隐藏。

（上图表示较为精确的几何结构，下图是不太精确的几何结构）

 

CCS分类：计算方法论->计算摄影学

附加关键词句：基于图像的纹理映射，基于块的合成

 

正文

一、引入

对真实世界景物建模是一个重要的视觉任务，在视频游戏、VR、动画设计等方面有着广泛的应用。基于几何结构的重建是大量相关研究的主题，许多相应的算法被研发出来。随着消费级深度相机的普及，普通消费者也能用诸如KinectFusion的技术来生成物体的几何模型。

尽管如此，重现真实世界物体的全貌仍需要重建高质量的纹理映射。基于图像的纹理映射，是在一个采集自不同视角的图像集上，构建与视角无关的纹理映射的常用的方式。随之而来的挑战性问题是，几何结构和相机摆放姿态的计算，由于常常受到噪声的影响而不准确；此外，消费级深度相机提供的RGB图像，常常会有无法被相机成像模型解释的失真。因此，朴素的投影、融合输入图像就会有模糊的、带重影的人工痕迹，如图2所示。

图2

 

我们发现，通过对输入的每张图像生成一张配准的图像可以克服绝大多数的不精确问题。我们的方法建立在Zhou 和 Koltun的工作之上，他们的工作使用了局部扭曲技术来校正错误配准问题。虽然他们的方法能处理细小的不精确问题，但是对于很不精确的情况很难提供高质量的结果；并且由于局部扭曲技术在校正失配时的局限性能，他们的方法会遗失部分几何特征（见图1，2和4）。

图1

 

受近来基于块的方法在图像和视频编辑任务领域的成功的影响，我们提出了一种新颖的，全局的，基于块的优化系统来合成配准好的图像。我们的能量函数（这里的能量函数应该属于“基于能量优化的图像匹配”这一方法中的技术，参见参考博客①）结合了我们对配准后图像的两个主要的需求：（1）  包含原始输入图像的绝大部分信息；（2）    保留投影矩阵的光学一致性。

为进一步优化能量函数，我们同时将输入的原图像和配准后的图像的局部相似性最大化，并保证了所有配准后的图像与纹理映射的一致性。

我们的系统以基于块的方式直接从原图像中抽取信息，从而可以灵活地处理大范围的不精确问题。此外，我们的方法通过合成缺失的内容来处理缺失几何特征的情形（见图4），而现有的基于扭曲图像的或是基于图片分割的技术则不能处理。最后，相比于Zhou和Koltun的方法，我们实现了图像领域的一种优化，使得我们系统性能不受几何复杂性所限。总之，我们做出了以下的贡献：

（1）      对于视点无关的、基于图像的纹理映射，引入了首个基于块的优化系统（见模块3.1）。该方法通过合成经过配准的图像来校正图像失配问题，而这些经过校正的图像之后能用于生成一个视点独立的纹理映射。

（2）      我们提出了一个简单的两部曲操作来高效地求解我们的能量方程（见模块3.2）。

（3）      我们证实了本方法比现有的技术效果更好（见模块5）；此外我们也展现了本方法在其他领域的应用，这些应用也获得了靠当前技术无法实现的效果。

 

二、相关工作

         从真实世界物体的图像集合中重现它的外貌这个主题被广泛地研究。基于图像的着色技术通过产生一个依赖于视角的纹理映射来重现物体的外貌。然而，这种手段只能应对输入图像在相同光照条件下的情况。因此，它们不能被用于某些场景，这些场景使用的是在不同光照环境下被扫描过的物体的图片。此外，由于这些手段并不产生一个全局一致的纹理映射，他们显然无法用于游戏、AR、动画等领域。

视角独立的纹理映射方法，以我们的为例，从不同视角抓取到的图像集中生成一个全局一致的纹理映射，这些图像随后可以被用来在各种光照情况下上色（注意：该情况下最终的纹理仍具有原始的光照条件。然而，该问题可以通过对原图做本征图像分解（Intrinsic Image Decomposition，参见博客②）并使用反照率来生成纹理映射）。这类方法的主要挑战是，在抓取过程中如何解决不精确问题。关于图像的几何配准，有如下几种方法：半自动化的[Franken et al. 2005; Ofek et al. 1997; Pighin et al. 1998]，或者通过优化颜色一致性而自动化的[Bernardini et al. 2001; Pulli and Shapiro 2000]，或者通过配准图像和几何特征来自动化的[Lensch et al. 2001; Stamos and Allen 2002]，或者通过最大化投影图像间的互信息来自动化[Corsini et al. 2013, 2009]。虽然这些方法在解决由相机标定不精确引起的问题时很有效，却不能解决几何结构不精确，或是RGB图像中光学畸变引起的问题，而这些问题在消费级深度相机中是很常见的问题。

 

2.1 单视角选择

这类方法不去融合投影后的输入图像，由于失配的缘故这种操作可能产生模糊的效果；而是对每个面只选择一个视角。为避免在面与面之间产生可见的缝隙，通常要解决离散标记的问题（[Lempitsky and Ivanov 2007; Sinha et al. 2008; Velho and Sossai Jr. 2007; Waechter et al. 2014]）。

例如，当下效果最好的方法（Waechter et al. [2014]）解决了条件随机场能量方程的问题，该方程包括两项：一个数据项“偏好”与当前的面接近的、不模糊的面，一个平滑项“惩罚”相邻面不连续的情况（是不是把参考博客①中的像素改成了面呢？）。可是正如图2所示，即使是这种方法也无法解决在不精确程度很大时许多挑战性的情况，从而在最终的纹理映射中产生可见的缝隙。

 

2.2 图像配准

本目录中该方法直接通过配准输入图像来解决不精确问题。Tzur and Tal [2009]提出估计几何结构的每个顶点的局部的相机投影来解决相机标定、几何结构等的不精确问题。然而，该方法需要用户的交互，来产生看上去合理的结果。Aganj et al. [2010]通过寻找不同视角中的SIFT特征、扭曲输入图像来解决失配问题，而[Dellepiane et al. 2012; Eisemann et al. 2008]则用光流处理处理扭曲。这些方法并未要求失真全局最小化，且在一对图片上进行处理，因而是次优解。Gal et al. [2010]给一张输入图像指定一个三角形，找到每个三角形的最优转换（方式/矩阵）来消除缝隙，然而这种优化方式需要大量的运算。

我们的方法是基于Zhou and Koltun [2014]近期的工作的，该工作同时解决了寻找最优的相机姿态和非刚性的对输入图像的矫正。它们使用了局部扭曲来实现非刚性的配准，并提出一个交互的优化来最小化它们的目标函数。然而，局部扭曲并不能矫正大规模的失配，而且会产生重影、模糊的人为现象，如图2所示。为避免该问题，我们提出了一种相比于局部扭曲更为灵活的机制来处理非刚性的配准，将此机制用于我们的优化系统。

 

2.3基于块的合成

我们的方法受近来基于块的合成方法在大量应用，例如填洞（[Wexler et al. 2007]）、图像重定向（image retargeting,参见博客③）与图像编辑（[Barnes et al. 2009; Simakov et al. 2008]），影像变形（参见资料⑨），HDR重建（[Kalantari et al. 2013; Sen et al. 2012]）和风格迁移（[Bénard et al. 2013; Jamriška et al. 2015]）。基于块的合成，在找出几张图像的一致性（比如影像变形和HDR重建）很困难的应用场景中已经特别成功了。在我们的应用中，合成的配准图像需要在物体的几何结构上具有一致性，因此基于块的合成在我们的问题上无法直接应用。我们通过提出一个新颖的，基于块的能量方程来应对这个挑战，该方程将几何结构融合到公式之中。

 

三、算法

绝大多数纹理映射的方式是使用一个包含N张源图片(记作S1,…, SN)的集合来生成一个高质量的视角独立的纹理映射，这些源图片从不同的视角中拍摄得到。这些方法常常假设源图片对应的物体的近似的几何结构和粗略的相机姿态（即相机的内参、外参矩阵）用现有的方法可以估计得到（[Newcombe et al. 2011; Seitz et al. 2006]；一个很有意思的论文是只需要给两张相关照片就能进行三维重建：Novel View Synthesis in Tensor Space），一旦纹理映射产生，有着视角独立的纹理的物体就可以在任何新视角中着色了。

一种生成纹理映射的简单方式是将原图像投影到几何结构上，并将所有的投影后的图像结合在一起。理想情况下，这些投影后的图像是光照一致的，因此融合这些照片横沟产生高质量的纹理图片。然而实际上由于不精确的问题，投影图像常常失配。因此这种简单的做法会产生重影的效果。

在图3中的顶行我们演示了该问题：给定源图片S1，S2，展现出合成后的效果。为了观察失配问题，我们将原图像投影到一个新的视角i。注意从原图像Sj投影到新视角i可通过重映射原图像的像素颜色Sj(y)来实现。y是像素从图像i投影到j的位置，记作：y= Pj(Gi(x)). x是图像i上像素的位置，Gi将i图像上的一个像素投影到全局三维空间，Pj将三维空间中的点投影到j图像。在本论文中，为了符号的清晰简洁考虑，我们使用xi表示图像i上的像素，用x<