50、单三元图视频抠图技术：OTVM网络的创新与实践-优快云博客

本文链接：https://blog.youkuaiyun.com/c7d8e9/article/details/150604407

单三元图视频抠图技术：OTVM网络的创新与实践

1. 引言

视频抠图是从视频中预测精确的透明度蒙版（alpha matte）的任务，这在视频编辑应用中，如视频合成，是精确分离前景和背景层的关键步骤。对于每个视频帧I，其目标是将输入颜色划分为三个部分：前景颜色、背景颜色和透明度蒙版。从数学形式上，对于给定像素，可表示为I = αF + (1 - α)B，其中F和B分别是前景和背景颜色，α ∈ [0, 1]代表透明度值。由于该问题的不适定性，传统方法利用三元图（trimap）作为额外输入，它能指示像素是确定的前景、确定的背景还是不确定区域，为目标对象提供线索，有效提高透明度预测的稳定性。

近期研究借助基于三元图的图像抠图和掩码传播的进展，成功开发了基于学习的视频抠图技术。这些方法将视频抠图解耦为三元图传播和透明度预测两个阶段，但存在明显局限。由于三元图的未知区域在不同帧可能发生变化，如果仅基于视觉对应关系传播三元图而不考虑透明度蒙版，可能会产生不准确的三元图，且误差容易累积，导致透明度预测失败。因此，现有解耦方法需要多个用户标注的三元图来防止传播过程中的漂移。

为解决这一问题，研究人员提出了单三元图视频抠图网络（One-Trimap Video Matting network，OTVM），它将三元图传播和透明度预测作为联合任务执行。OTVM通过级联两个模块，在每帧自动交替进行三元图传播和透明度预测，并添加了细化模块以促进信息流动。该网络能够利用单个用户标注的三元图实现鲁棒的视频抠图，在两个最新的视频抠图基准测试中显著优于现有技术。