基于飞行时间相机的三维视频应用高分辨率深度图生成器
摘要
在当今时代,3D视频应用已广泛普及于消费者。通常,高质量深度图对于插值虚拟视图图像至关重要,而虚拟视图图像在3D视频应用中起着关键作用。许多应用采用飞行时间(ToF)相机,因其具备实时距离捕捉能力。然而,原始ToF图像存在一些限制,例如在物体边界以及吸收红外线的区域中出现不准确的距离值。本文提出了一种解决该问题的方法。现有方法并未重点关注此问题。所提出的方法在一个包含彩色相机和ToF相机的相机系统上进行了测试。针对远程会议或虚拟广播等沉浸式应用,对感兴趣对象进行拍摄。作为预处理步骤,修正了ToF图像中存在的误差。随后,将低分辨率ToF图像扭曲至彩色相机视角,并结合邻域信息填充空洞区域。深度图结果相比最先进的方法有所改善。该方法可提升3D视频系统的整体质量,从而增强3D视频消费类应用的市场竞争力。
索引术语 —3D视频系统,飞行时间(ToF),深度图,3D扭曲。
一、引言
D视频技术在过去十年中得到了显著改进。随着3D显示器和高端电视的发展,3D和多视点视频应用的效率也有望得到提升[1],[2]。在3D图像处理中,深度图像是至关重要的,主要用于插值虚拟视图图像。在3D视频系统中,如图1所示,深度数据直接来自深度相机,或通过多视点相机进行深度估计获得[3]。然而,多种因素会导致不准确的深度图。深度相机可能引起闪烁和混合像素,而深度估计在物体边界附近容易产生错误估计[4],[5]。此外,压缩会导致失真[6],[7]。
手稿收到日期2017年10月1日;2017年11月15日接受;出版日期2017年12月19日。本工作由韩国国家研究基金会(NRF)资助,资金来源于韩国政府(MSIP)(编号2011‐0030079)。(通讯作者:Y. Song.)Y. Song 和 Y.S. Ho 隶属于韩国光州科学技术院(GIST)电气工程与计算机科学学院(电子邮件:ysong@gist.ac.kr 和 hoyo@gist.ac.kr)。本文中一张或多张图的彩色版本可在线获取,网址为 http://ieeexplore.ieee.org。数字对象标识符 10.1109/TCE.2017.015096
如图1所示,3D视频系统传输压缩后的N个视图的彩色和深度视频数据。在接收端,基于N个解码视图和合成视图生成M个视图。因此,输出视图的数量始终大于输入视图的数量[8]。在基于深度图像的渲染中,解码彩色和深度视频数据被用作视图合成的输入。因此,解码彩色和深度数据的质量直接影响渲染图像的质量。
深度图像表示相机与物体之间的距离。通常,深度图像是由深度相机生成或通过立体匹配估计得到的。深度相机能够实现快速数据采集,但成本可能较高。此外,必须检查由频率重叠引起的干扰。立体匹配没有深度相机的限制[9],[10];然而,它可能非常耗时,因此不适合实际应用。
本文提出了一种深度图生成系统,该系统由一个彩色相机和一个飞行时间(ToF)相机组成。其目标是生成与彩色相机视角相对应的高质量深度图。该系统在使用合成背景的多视点视频应用中具有良好的效果。利用该系统,可对感兴趣物体进行处理。
在色键屏幕前捕获。三维图像变形和空洞填充是常规工具。本文增加了一种新方法,可提高原始ToF图像的质量。这增强了最终深度图的质量,特别是在物体区域。
本文的其余部分组织如下。第二节描述了通过飞行时间图像生成深度图的传统框架 [11]。第三节介绍了针对飞行时间图像的距离误差减小技术,这是本文的创新贡献。第四节分析了实验结果,第五节对全文进行总结。
II. 在彩色相机视角下生成深度图
A. 三维图像变形
ToF相机可用于获取场景中物体的距离[12]。然而,它只能生成低分辨率图像。为了匹配深度图像和彩色图像的分辨率,需利用ToF相机和彩色相机的参数进行ToF到彩色视图的3D扭曲。该过程需要相机内参和相机外参[13]。
相机内参包括焦距、主点和歪斜系数。此外,相机外参表示相机的旋转和平移特性。
在飞行时间图像中,每个像素被投影到一个3D点,即世界坐标,然后该3D点被投影到目标图像。对于ToF到彩色相机的3D扭曲,ToF相机和彩色相机分别为源和目标。
目标图像中的2D图像坐标由源图像中的2D图像点及其相机内参和外参确定。
B. 填补变形图像中的空洞区域
通过深度图像扭曲,获得对应于彩色相机视角的深度图像。由于飞行时间相机与彩色相机之间的分辨率差异,这些图像包含空像素。使用联合双边滤波器(JBF)来填充这些区域[15]。该滤波器仅应用于物体区域,前提是已知物体的大致深度值范围。JBF 是双边滤波器的扩展[14],广泛用于边缘保持。
$$
D(x, y) = \frac{\sum\sum W(u, v) \cdot D_i(x, y)}{\sum\sum W(u, v)}
$$
在(1)中,$D_i(x, y)$ 和 $D(x, y)$ 分别表示扭曲后的深度图像和待填充的最终深度图像在 $(x, y)$ 坐标处的值。$D_i(x, y)$ 是ToF到彩色图像配准的结果。$(u, v)$ 是 $(x, y)$ 的邻域坐标。r 表示核大小。在实验中,核大小r为11。W表示权重,如果扭曲深度图像中的像素值为零,则权重为零;否则,权重为空间权重$f(u, v)$和范围权重$g(u, v)$的乘积。这由(2)表示。
$$
W(u, v) =
\begin{cases}
f(u, v) \cdot g(u, v), & \text{if } D_i(x, y) \neq 0 \
0, & \text{otherwise}
\end{cases}
$$
空间权重基于强度差异。在计算强度差异时,JBF使用彩色图像,而双边滤波器使用深度图像本身。由于颜色数据差异可能更具体,JBF产生的空间权重更加可靠。范围权重在JBF和双边滤波器中是相同的。这些权重由(3)和(4)解释。$(v_1)$ 和 $(v_2)$ 分别是空间权重和范围权重的西格玛值,它们是高斯值;在实验中,其值分别为2和8。
$$
f(u, v) = \exp\left(-\frac{(I(x, y) - I(u, v))^2}{2\sigma_f^2}\right)
$$
$$
g(u, v) = \exp\left(-\frac{(x - u)^2 + (y - v)^2}{2\sigma_g^2}\right)
$$
III. 飞行时间图像中的物体距离校正
提出的方法利用具有有效距离数据的邻域值,将飞行时间图像中的错误值替换为新生成的值。该方法采用三个步骤:物体边界滤波、迭代异常值消除和迭代最小/最大平均。此过程会改变前景物体的距离数据。该技术可应用于静态相机系统。需要在不同表面类型上实现实时精确距离感知的视频应用将受益于提出的方法。
A. 物体边界滤波
在原始ToF图像中,前景与背景之间的边界上存储了一个中间距离值。实际上,该距离处并不存在任何物体。如果其他应用程序使用此距离数据,则会导致问题。为了消除该中间值,使用1抽头3像素宽窗口进行滤波。首先,检查像素是否为边界。如果该像素不属于背景区域,并且其某个邻居位于背景区域内,则将该像素确定为边界值。由于背景是静止的,因此背景距离是已知的。
边界值被替换为属于前景的邻域像素。具有较小距离的邻域像素即为属于前景的邻域像素。图2描绘了在水平方向上的这一过程。同样的处理也在垂直方向上执行。图3用红色圆圈突出显示了明显变化,展示了物体边界滤波的效果。由于飞行时间图像为16位数据,因此本文中以最大化对比度的8位图像形式用于显示用途。在实际应用中,将直接使用未经修改的16位距离数据。
B. 迭代异常值消除
经过物体边界滤波后,前景物体中仍然存在应被视为异常的距离值。这些异常距离值要么大于最大距离,要么小于最小距离。最大和最小物体距离的粗略值为捕获时确定。异常值是由不准确的距离感知引起的。特别是,黑色物体(如头发) tends to 吸收红外线。
C. 迭代最小/最大平均
最后一步的目标是平滑前景内的剧烈距离变化。为此,生成两幅图像。首先,使用3×3窗口,将中心替换为其具有最高距离值的邻域像素,这被称为最大邻域滤波器。类似地,最小邻域滤波器返回最小的邻域值。这两幅图像的平均值展现出平滑效果。这对于减少由于不准确的深度感知引起的距离突变非常有益。该方法需要重复执行,因为单次执行效果不明显。然而,过多的执行次数会导致图像出现严重模糊。在实验中,五次
此步骤需进行多次迭代。图5展示了最小和最大邻域滤波图像的平均结果。与第二步类似,该步骤中也可使用更大的窗口;然而,这可能导致物体内部细节的丢失。
D. 相机系统上的实现
提出的方法至少需要一个彩色相机和一个ToF相机。当将其集成到传统的多视角相机设置中时,可能需要也可能不需要ToF相机支架。图6(a)展示了一种设置,其中使用ToF相机附加支架将ToF相机放置在彩色相机上方。在图6(b)中,彩色相机位于ToF相机之间,因此不需要额外的支架,有助于降低成本。
ToF相机位于彩色相机上方的位置
彩色相机位于ToF相机之间
E. 与消费电子的相关性
关于消费电子,提出的方法可应用于配备ToF相机的多媒体应用,例如远程会议和虚拟广播。在这些类型的系统中,ToF相机可放置在彩色相机旁边。最终目标是表示场景
通过使用由距离数据组成的深度图在3D中实现。传统方法容易受到头发区域和边界处不准确的距离值的影响,而提出的方法能够减少误差并提高深度图质量。因此,可以实现更逼真的3D视频服务,从而吸引消费者。
IV. 实验结果
在四个图像集上进行了实验:“坐着”、“拿包”、“阅读者”和“持握”。色键蓝幕距离ToF相机和彩色相机3.5米。ToF图像和彩色图像的图像分辨率分别为176×144和1280×720。ToF相机与彩色相机水平相邻,如图6(b)所示。外部同步模块确保ToF相机与彩色相机之间的同步。
在彩色相机视角下生成的深度图是16位数据,因为该过程使用了16位飞行时间图像。图7、图8、图9和图10分别展示了原始彩色图像、原始飞行时间图像、修改后的飞行时间图像以及高分辨率深度图结果。这些图像中的彩色图像和飞行时间图像是在图6(b)中的C0和ToF0位置采集的。生成的深度图结果对应于C 0。图中仅显示前景物体。我们将提出的方法的结果与加权模态滤波器(WMF) [15]生成的结果进行了比较。WMF采用联合直方图,并通过L1范数最小化来优化解。该滤波器既可用于深度视频滤波,也可用于基于飞行时间图像的深度图生成。
像素值较暗的像素比亮度较高的像素更靠近相机。在比较飞行时间图像时,改进的ToF图像显示原始ToF中丢失的数据已被合理值填充,并考虑了可用的邻域数据,这在发丝区域尤为明显。此外,边界附近的误差也被消除。这些效果在高分辨率深度图中同样可见。与WMF的结果相比,提出的方法的结果显示出更高的一致性和更少的波动。由于低分辨率图像中的误差会传播到高分辨率深度图结果中,因此将ToF图像的误差减少作为预处理步骤非常有利。
为了对深度图进行客观评价,我们在C1处合成了一个虚拟视图。合成图像通过将C0处的彩色图像扭曲到C1位置获得。然后,将合成图像与在C1位置相机拍摄的图像进行比较。类似地,通过比较合成的C2和原始C2来完成对C1生成深度的评价。在计算峰值信噪比时,仅关注前景区域。
表I 合成C1与原始C1的峰值信噪比(C0处深度评估)
| 图像 | WMF [15] | 提出的方法 |
|---|---|---|
| 坐着 | 26.88 dB | 27.07 dB |
| 拿包 | 25.60 dB | 26.26 dB |
| 阅读者 | 27.82 dB | 28.43 dB |
| 持握 | 22.01 dB | 22.56 dB |
| 平均值 | 25.57 dB | 26.33 dB |
表II 合成C2和原始C2的PSNR(C1处深度评估)
| 图像 | WMF [15] | 提出的方法 |
|---|---|---|
| 坐着 | 27.35 dB | 27.89 dB |
| 拿包 | 25.29 dB | 25.58 dB |
| 阅读者 | 26.07 dB | 26.55 dB |
| 持握 | 21.14 dB | 21.54 dB |
| 平均值 | 24.96 dB | 25.39 dB |
对于C1处的深度,提出的方法平均提高了0.51 dB。此外,在C1深度评价中,平均增益为0.43 dB。因此,验证了提出的方法的有效性。
V. 结论
本文提出了一种使用彩色相机和ToF相机的深度图生成系统。生成的深度图表示物体在彩色相机视角下的距离信息,其分辨率与彩色相机相同。主要贡献在于减少飞行时间图像的距离误差。为此,采用了物体边界滤波、迭代异常值消除和迭代最小/最大平均方法。随后,将修改后的飞行时间图像变换到彩色相机视角,并根据邻域信息填充空洞区域。生成的深度图显得更加自然,特别是在发丝区域和物体边界处有显著改善。所提出的方法的有效性也得到了客观验证。该基于ToF相机的深度图生成系统有望在远程会议或虚拟广播等各类固定空间三维视频消费应用中发挥重要作用。
4373



被折叠的 条评论
为什么被折叠?



