三维重建表面的高阶CRF结构分割(1)——[7]Silhouette and stereo fusion for 3D object modeling

《三维重建表面的高阶CRF结构分割》的参考文献的第七个:[7]Accurate, dense, and robust multiview stereopsis,里面介绍了MVS方法，里面有一句： compares our algorithm with Hern´ andez Esteban’s method [7], which is one of the best multi-view stereo reconstruction algorithms today, 所以我研读了这个论文，下面是**[7]Silhouette and stereo fusion for 3D object modeling**,Carlos Herna´ndez Esteban*, Francis Schmittd的阅读笔记。

本论文的重点在于将纹理信息和轮廓信息融合。
我们通过变形模型演化来执行轮廓和纹理信息的融合。

一.框架（可变形模型）

经典的蛇方法[28]

可变形模型框架允许我们定义最小化全局能量E的最佳表面。通常，该能量将是非凸的，具有可能的局部最小值。在我们的例子中，最小化问题提出如下：找到最小化能量的R3的表面S，定义如下：

其中Etex是与物体纹理相关的能量项，Esil是与轮廓相关的术语，而Eint是表面模型的正则化术语。

二、主要步骤

1.初始化表面

必须从几何和拓扑意义上考虑接近方式，必须减小初始表面和物体表面之间的几何距离，以便限制表面网格演变过程中的迭代次数，从而限制计算时间。初始表面的拓扑结构也非常重要，因为经典的可变形模型在其演化过程中保持网格的拓扑结构。一方面，拓扑结构实施了一个强约束，使初始化成为非常重要的一步，因为初始表面必须捕获对象表面的拓扑。另一方面，经典蛇的拓扑常数属性为进化过程提供了更强的鲁棒性。

初始化表面步骤：（1）使用基于八叉树的雕刻方法；（2）使用行进的四面体网格划分算法；（3）网格简化

2.纹理力

该力有助于通过利用对象的纹理来恢复3D对象形状。我们希望此力可以最大化图像相关性。我们使用归一化互相关来测量图像的相关性。一旦我们有一个衡量图像一致性的标准，我们现在可以通过最大化一组给定视图集的尺度来恢复3D几何。有两种不同类型的优化方式：
（1）使用当前形状估计来计算纹理相似性
（2）使用模型独立纹理标准来测试所有可能的配置。
为了进一步提高鲁棒性，我们可以使用[17,34]中的投票方法将标准值累积到3D网格中。

3.轮廓力

轮廓力被定义为使蛇与序列的原始轮廓匹配的力。
如果它是蛇的唯一力量，模型应向可视外壳收敛。
由于我们只对轮廓感兴趣，因此力量将取决于蛇的自我遮挡。

4.网格控制

定义了纹理和轮廓力Ftex和Fsil（外力），最后的细节力是内力Fint。
内力的目标是规范外部力量的影响。
如果蛇的唯一力是内力，则网格将在重心过滤的作用下坍塌。

5.纹理图

用于创建纹理图的方法是基于粒子的方法，例如[40,41]中描述的方法。

参考文献：[7]Silhouette and stereo fusion for 3D object modeling,Carlos Herna´ndez Esteban*, Francis Schmitt