【ECCV2022】论文阅读笔记TransMatting: Enhancing Transparent Objects Matting with Transformers

TransMatting: Enhancing Transparent Objects Matting with Transformers

TransMatting: 使用Transformers增强透明物体抠图

paper： https://arxiv.org/pdf/2208.03007v3.pdf

code： https://github.com/AceCHQ/TransMatting

摘要

图像抠图是指从自然图像中预测未知前景区域的alpha值。先前的方法集中于将alpha值从已知区域传播到未知区域。然而，并不是所有的自然图像都有一个特定的已知前景。透明物体（如玻璃 ，烟，网格等）的图片很少或没有已知的前景。在本文中，作者提出了基于Transformer的网络，TransMatting。它使用一个大感受野建模透明物体。具体来说，我们将trimap重新设计为tri-tokens，以便将高级语义特征引入到自注意机制中。本文提出了一种小型卷积网络，利用全局特征和非背景掩码来引导多尺度特征从编码器到解码器的传播，以保持透明对象的上下文。另外，作者采集了一个小型已知前景透明物体的抠图数据集。实验表明本文所提出的方法在几个抠图的基线上都优于当前的SOTA方法。

动机

抠图的标准公式$I=\alpha F+(1-\alpha )B,B$