11、随意拍摄视频的3D重建与基于视频的渲染

随意拍摄视频的3D重建与基于视频的渲染

1. 概率模型与分割方法

1.1 概率分布与共识情况

在处理视频场景中的动态元素分割时，我们会考虑不同的概率分布。对于$D_{ij}^t(p)$的概率分布，当存在共识（$C_{ij}^t(p) = 1$）时，其概率$P(D_{ij}^t(p)|C_{ij}^t(p) = 1)$遵循高斯分布，其中$\kappa$是高斯分布的归一化因子，$U$是均匀分布。而当不存在共识（$C_{ij}^t(p) = 0$）时，$P(D_{ij}^t(p)|C_{ij}^t(p) = 0)$被设为均匀分布。

1.2 体素状态的影响因素

$P(C_{ij}^t(p) = 1|G_k^t)$ 和 $P(C_{ij}^t(p) = 0|G_k^t)$ 的定义与以往有所不同。以往体素$k$的状态仅受$\varphi_i^t(k)$中像素的背景状态影响，而现在其状态还受$\chi_{ij}^t(k)$中像素的影响。这种特性增加了体素之间的依赖关系，但能提供更多关于每个体素状态的信息。

1.3 两种分割方法比较

有两种分割场景动态元素的技术，它们在推断背景外观的方式上有所不同：
| 方法 | 推断背景外观方式 | 优点 | 缺点 |
| ---- | ---- | ---- | ---- |
| 方法一 | 在单个视频的时间窗口内前后搜索信息 | 提供像素级的分割精度 | 在背景外观快速变化的场景（如音乐会）中存在严重问题 |
| 方法二 | 在不同相机间转移同一时刻的信息 | 对背景外观的突然变化更具鲁棒性 | 受体素分辨率限制，不能无限制提高分辨率而不考虑校准