SOTA级发丝抠图模型PP-Matting重磅开源，支持多场景精细化分割！

飞桨PaddlePaddle

于 2022-05-06 19:58:00 发布

阅读量661

点赞数 1

文章标签：人工智能 python java 机器学习深度学习

原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2OTEzODA5MA==&mid=2247582579&idx=1&sn=17c911494cafff0f3719d41a182bc53b&chksm=cea268b6f9d5e1a0ca6edebab2c6f0fe26fdff43ef19eaac6e68669510615196f15fd72e0bc6&scene=126&&sessionid=0

版权

你还在用P.S.等商业软件，滑着鼠标，一点点勾勒图像边缘完成抠图嘛？有些大神可能会说：我可以用蒙板、通道等等高端操作实现超快抠图！但如果能有一个软件可以实现智能全自动抠图，完美保留发丝、树叶等精细边缘，还完全免费，甚至代码全部开源——它不香嘛？

图1 Matting效果展示

这绝对不是画饼，近期一项被称为Matting的算法可算是火爆了AI界，相比于单纯的图像分割技术，它可以根据透明度更进一步的对图像的像素进行分类（如下图），不仅图像中的主体目标被精准抠出，连超精细的毛绒边缘和透明玻璃杯都可以完美抠出！传统的图像分割抠图策略是完全不可达到的，懂行的人看到这里是不是已经激动地汗毛直立了？

图2 Matting原理说明

小编赶紧给大家贴上项目链接地址

点击文末阅读原文即可GET

墙裂推荐小伙伴们star收藏!

https://github.com/PaddlePaddle/PaddleSeg/tree/release/2.5/Matting

本项目是PaddleSeg团队推出的高性能PP-Matting系列模型，它根据用户对图像分辨率的需求，提供最相匹配的模型，精度上能够在Trimap Free方向达到SOTA级别。此外，本项目还充分考虑了实际部署环境，针对边缘端、服务端等对模型体积等指标进行相应优化。

不仅如此，PaddleSeg团队还特别针对人像进行特殊优化处理，提供了不同场景下的预训练模型及部署模型，既可直接部署使用，也可根据具体任务进行微调，简直贴心到家！

图3 PP-Matting 算法精度说明

PP-Matting已经被开发者们广泛应用在各种场景中，如有爱的萌宠开发者小伙伴们已经实现了”猫像抠图”，给自己可爱的小猫咪DIY了各种酷炫写真。

图4 “猫像抠图”示例

此外，有开发者基于Matting模型，开发了一键上传图片进行抠图的Web Demo，同样欢迎大家在PaddleSeg的github页面访问使用。链接如下：

https://github.com/PaddlePaddle/PaddleSeg/tree/release/2.5/Matting

图5 Web端Matting示例

当然，看到这么好的技术，硬核的小伙伴会关注技术上的实现。一般来说，基于深度学习的Matting分为两大类：

一种是基于辅助信息输入。即除了原图和标注图像外，还需要输入其他的信息辅助预测，如Trimap、背景、交互点等作为辅助信息。
一种是不依赖任何辅助信息，直接实现Alpha预测。

图6 Matting原理说明

而PP-Matting设计的初衷，就是为了能够方便用户快速实现抠图，因此用户在使用时不依赖辅助信息的输入，便可直接获得预测的结果。为了实现更高的效果，PP-Matting设计了Semantic context branch (SCB)、high-resolution detail branch (HRDB)两个分支，分别进行语义和细节预测，通过引导流机制，进行语义引导下的高分辨率细节预测，进而实现Trimap-free高精度图像抠图。