14、语义建模与渲染：从3D模型生成到城市模型渲染

语义建模与渲染：从3D模型生成到城市模型渲染

1. 3D模型生成方案

1.1 问题提出与背景

通常，从图像重建3D模型时，构建点云是广泛使用的方法。然而，从点云提取捕获的3D形状的语义并不容易。为了重建形状和语义，需要同时考虑图像语义。

1.2 优化问题的提出

可以将从给定图像视图进行形状重建表述为一个优化问题。设 $M$ 是待重建的未知模型，$I_l$ 是图像立面布局。立面布局在矩形域内由一组不重叠的矩形区域定义。矩形区域 $R_i$ 由参数 $(x_i, y_i, w_i, h_i)$ 定义，分别表示左下角位置 $(x_i, y_i)$ 和大小（宽度 $w_i$ 和高度 $h_i$）。标签函数 $l_i(u, v)$ 将位置 $(x_i + u, y_i + v)$ 处的材料描述为整数标签。

基于贝叶斯规则，对应于图像立面布局 $I_l$ 的最佳模型 $\hat{M}$ 可以表示为对数形式：
[
\hat{M} = \arg\min_M {\log P(I_l|M) + \log P(M)}
]

模型 $M$ 由形成结构 $S$ 的3D组件和生成该结构的规则 $r$ 组成。结构 $S$ 由建筑物的组件构成，如窗户、门、墙、地板等。每个组件都与相应的形状相关联，在2D中表示为矩形区域，在3D中表示为网格。因此，上述公式变为：
[
\hat{M}(S,r) = \arg\min_{M(S,r)}{\log P(I_l|S,r, \Pi) + \log P(S) + \log P(r)}
]

其中，$P(S)$ 和 $P(r)$ 分别是