29、深度图像渲染与性别种族识别技术解析

深度图像渲染与性别种族识别技术解析

1 深度图像渲染中的遮挡处理

深度图像渲染（Depth Image Based Rendering）是一种计算场景虚拟视图的技术，它依赖视频流和相关的深度流，深度流存储了视频中每个像素到相机的距离。这种视频加深度的表示方式比常见的视频加视频格式有优势，能更高效存储，且在接收端生成第二视频流，用户可根据个人偏好调整立体几何。不过，该技术面临诸多挑战，遮挡问题就是其中之一。

1.1 不同遮挡填充方法

• 修复法（Inpainting） ：作为一种后处理技术，直接对出现遮挡的图像进行处理。它通过从周围像素推断颜色值来填充遮挡区域，能减少遮挡，但处理后的图像在填充位置会出现伪影，在观看3D内容时会造成干扰。
• 深度图平滑法 ：在变形之前使用高斯滤波器对深度图进行对称或非对称平滑，属于预处理技术。平滑会改变场景的几何形状，使变形后遮挡不出现或减少，可能还需要后续插值步骤消除小孔洞。这种方法能消除遮挡，但会引入几何失真，非对称平滑产生的视觉失真比对称平滑小，但效果仍可见。而且，和预处理技术一样，平滑无法恢复被遮挡区域的真实颜色值，只能填充合理的值。
• 忠实渲染法（Faithful rendering） ：能恢复真实颜色值，且不引入几何失真。但它仅适用于能生成背景模型的视频，还需进一步拓展适用视频的范围。

1.2 不同方法对比

方法	处理阶段