用上 RNN,这个视频抠像工具效果绝了

[github优秀AI项目]实现4K60帧视频人体实时抠图 项目地址: https://github.com/PeterL1n/RobustVideoMatting 文章: Robust Video Matting in PyTorch, TensorFlow, TensorFlow.js, ONNX, CoreML! PyTorch、TensorFlow、TensorFlow中的强大视频抠图功能。js,ONNX,CoreML! 稳定视频抠像 (RVM) 论文Robust High-Resolution Video Matting with Te.. 阅读详情

内容导读

本文为字节跳动团队发布的视频抠像工具 RVM 代码解析及论文《Robust High-Resolution Video Matting with Temporal Guidance》概要。

视频抠像,把人物从动态画面中抠除,用于进一步替换背景或其他用途。看似是专业拍摄才用得上的工具,但在有些场景里的确派得上大用处。

10399a636326661258c6b6a1dd9f2922.gif

快捷、高效的视频抠像有多重要?这一点,今年《披荆斩棘的哥哥》的后期团队一定深有体会。

近期,字节跳动的论文 《Robust High-Resolution Video Matting with Temporal Guidance 》被 WACV 2022 收录,官方 GitHub 库于近期以 GPL-3.0 许可证开源。

0df2335dff549859ef45958f7e8731e5.gif

RVM 项目开放线上公开测试

此次开源的 RVM 项目专为稳定人物视频抠像设计,可在任意视频上做实时高清抠像。不同于现有神经网络将每一帧作为单独图片处理,RVM 使用循环神经网络,在处理视频流时有时间记忆。

经测试,RVM 支持在 Nvidia GTX 1080Ti 上实现 4K 76FPS 和 HD 104FPS。

此研究项目的团队来自字节跳动。

项目 GitHub
https://github.com/PeterL1n/RobustVideoMatting

项目论文
https://arxiv.org/abs/2108.11515

墙内 Colab

https://openbayes.com/console/open-tutorials/containers/oqv42tbd8ko

模型核心:RNN

f68b4a64a949ad8999d4835e6b8ed82a.png

RVM 的网络架构包括:

- 特征提取编码器:提取单帧特征;

- 循环解码器:综合时间信息;

- 深度引导滤波(DGF)模块:高分辨率采样。

值得注意的是,模型在内部将高分辨率输入缩小做初步的处理,然后再放大做细分处理。所以建议用户设置 downsample_ratio 使缩小后的分辨率维持在 256 到 512 像素之间。

另外,正因为此模型基于循环神经网络(Recurrent Neural Network),所以必须按顺序处理视频每帧,并提供网络循环记忆。

多框架支持

项目成员非常贴心,模型分别基于 MobileNetV3、ResNet50 实现,还支持了PyTorch、TorchHub、TorchScript、ONNX、TensorFlow、TensorFlow.js、CoreML 等主流框架。

 PyTorch 

- 载入模型

import torch
from model import MattingNetwork
model = MattingNetwork(variant='mobilenetv3').eval().cuda() # 或 variant="resnet50"
model.load_state_dict(torch.load('rvm_mobilenetv3.pth'))

- 推断循环(完整实例)

from torch.utils.data import DataLoader
from torchvision.transforms import ToTensor
from inference_utils import VideoReader, VideoWriter


reader = VideoReader('input.mp4', transform=ToTensor())
writer = VideoWriter('output.mp4', frame_rate=30)


bgr = torch.tensor([.47, 1, .6]).view(3, 1, 1).cuda()  # 绿背景
rec = [None] * 4                                       # 初始记忆


with torch.no_grad():
    for src in DataLoader(reader):
        fgr, pha, *rec = model(src.cuda(), *rec, downsample_ratio=0.25)  # 将上一帧的记忆给下一帧
        writer.write(fgr * pha + bgr * (1 - pha))

- 视频转换 API

from inference import convert_video


convert_video(
    model,                           # 模型,可以加载到任何设备(cpu 或 cuda)
    input_source='input.mp4',        # 视频文件,或图片序列文件夹
    input_resize=(1920, 1080),       # [可选项] 缩放视频大小
    downsample_ratio=0.25,           # [可选项] 下采样比,若 None,自动下采样至 512px
    output_type='video',             # 可选 "video"(视频)或 "png_sequence"(PNG 序列)
    output_composition='com.mp4',    # 若导出视频,提供文件路径。若导出 PNG 序列,提供文件夹路径
    output_alpha="pha.mp4",          # [可选项] 输出透明度预测
    output_foreground="fgr.mp4",     # [可选项] 输出前景预测
    output_video_mbps=4,             # 若导出视频,提供视频码率
    seq_chunk=12,                    # 设置多帧并行计算
    num_workers=1,                   # 只适用于图片序列输入,读取线程
    progress=True                    # 显示进度条
)

 TensorFlow 

- 范例(Channal Last 格式)

import tensorflow as tf


model = tf.keras.models.load_model('rvm_mobilenetv3_tf')
model = tf.function(model)


rec = [ tf.constant(0.) ] * 4         # 初始记忆
downsample_ratio = tf.constant(0.25)  # 下采样率,根据视频调整


for src in YOUR_VIDEO:  # src 张量是 [B, H, W, C] 的形状,而不是 [B, C, H, W]!
    out = model([src, *rec, downsample_ratio])
    fgr, pha, *rec = out['fgr'], out['pha'], out['r1o'], out['r2o'], out['r3o'], out['r4o']

项目 GitHub
https://github.com/PeterL1n/RobustVideoMatting

项目论文
https://arxiv.org/abs/2108.11515

墙内 Colab

https://openbayes.com/console/open-tutorials/containers/oqv42tbd8ko

6db6cc7fed300d7d6dcb8664d742d212.png

38c4e097b4659bf3aed618ab39487888.png

2e3b121a39c5c7e0297c47afc7f2a306.png

RobustVideoMatting视频扣像 中文论文的官方 GitHub 库。RVM 专为稳定人物视频抠像设计。不同于现有神经网络将每一帧作为单独图片处理,RVM 使用循环神经网络,在处理视频流时有时间记忆。RVM 可在任意视频上做实时高清抠像。在 Nvidia GTX 1080Ti 上实现和。此研究项目来自。 阅读详情

相关推荐

电气比例阀采用外置传感器和PID控制器实现化学机械抛光(CMP)的超高精度压力控制

摘要:为大幅度提高现有CMP工艺设备中压力控制的稳定性,在现有电气比例阀这种单回路PID压力调节技术的基础上,本文提出了升级改造方案,即采用串级控制法(双回路PID控制,也称级联控制),通过在现有电气比例阀回路中增加更高精度的压力传感器和PID控制器,可以将研磨抛光压力的稳定性提高一个数量级,从1~2%的稳定性提升到0.1~0.2%。

Shanghai_Eyoung的博客 1292

background matting v3 inference webcam

opencv webcam read show

AliceH1226的博客 356

NVIDIA DGX Spark (Ubuntu 24.04) 部署Isaac Sim与Isaac Lab:二进制安装与ROS2集成实战

本文详细介绍了在NVIDIA DGX Spark工作站(Ubuntu 24.04系统)上,通过预编译二进制包稳定部署Isaac Sim与Isaac Lab的完整实战流程。文章重点剖析了二进制安装相较于源码编译和pip安装的优势,有效规避了CUDA、PyTorch等关键组件的版本冲突陷阱,并逐步指导完成环境配置、Isaac Lab集成、Conda环境管理以及ROS2 Jazzy的集成,最终构建出完整的机器人仿真与强化学习开发平台。

kite3的博客 397

视频绿幕抠像应用:用FastDeploy部署RVM拯救视频剪辑师的发量

使用FastDeploy 进行RVM应用部署,帮助视频剪辑师自动实现视频绿幕抠像和合成!都来做小视频吧!

m0_63642362的博客 1543

PyTorch实战:5步搞定QAT量化感知训练(附避坑指南)

本文详细介绍了在PyTorch中实施量化感知训练(QAT)的五步实战流程。通过环境准备、模型融合、伪量化节点与STE原理剖析、校准微调训练、模型转换与导出等步骤,帮助开发者有效压缩模型以适配移动端与边缘设备部署,并提供了关键的超参数设置与常见问题避坑指南。

weixin_29083373的博客 421

TT电机、310电机、370电机在智能小车与机器人中的性能对比与选型指南

本文深入对比了TT电机、310电机和370电机在智能小车与机器人项目中的核心性能差异。文章从尺寸、扭矩、转速、电压电流等关键参数入手,结合不同应用场景(如入门小车、竞技机器人、机械臂),提供了清晰的选型指南和驱动控制建议,帮助开发者根据项目需求选择最合适的电机方案。

weixin_29065015的博客 416

Robust High-Resolution Video Matting with Temporal Guidance(具有时间引导的稳健高分辨率的实时视频抠图) 阅读笔记

文章目录1. 概要2. 模型结构2.1 编码器2.2 循环解码器瓶颈模块上采样模块输出模块2.3 深度引导滤波器模块(DGF)3. 训练策略4. 实验 论文:Robust High-Resolution Video Matting with Temporal Guidance 1. 概要   大多数现有方法将视频数据视为一帧帧相互独立的图像加以处理。与此不同,本文利用一个循环架构来发掘视频中帧与帧间的时间信息,显著提高了时间一致性和抠图质量。同时,提出一种新的训练策略,同时用匹配和语义分割目标来训练网络,使

晓野豬 3436

SAP自动化-ME51N批量创建采购申请

2、需要管理员授权RZ11脚本录制回放功能。1、仅限于正对SAP日常工作的批量处理。3、数据模板按实际需求更新。物料编码,工厂,数量。

小九啥也不会 532

AI实现移除视频复杂背景-Background-Matting(2)

Background Matting V2 华盛顿大学Background Matting前一版提供了背景移除的测试程序test_background-matting_image.py。此测试版最大的问题是,移除后的图像会导致清晰度降低,这由产生前景的公式 I′=αF+(1−α)B′ F是图像前景,B’是需合成的新背景,alpha是前景图像遮罩。由于前景区中alpha并非=1,因此导致合成的前景图像损失。 V2版Background MattingV2 对此进行了改进,经本人验证效果不错,现将结果记录如下:

白起 4640

Unity接入抖音小程序侧边栏

Unity接入抖音小程序侧边栏功能实践总结 本文分享了Unity游戏接入抖音小程序侧边栏复访功能的实现过程。针对官方文档不清晰的问题,作者详细介绍了关键实现步骤:通过TT.CheckScene检测侧边栏可用性,利用OnShow事件监听判断用户是否从侧边栏进入,并提供了完整的UI交互代码示例。重点功能包括:检测宿主版本支持、区分侧边栏入口与非侧边栏入口的界面展示、实现跳转侧边栏场景等。文中附有官方文档链接和效果截图,为开发者提供了实用的接入参考方案。

类人_猿的博客 622

无法启动此程序,因为计算机丢失api-ms-win-core-path-l1-1-0.dll的解决方案

本文主要介绍了无法启动此程序,因为计算机丢失api-ms-win-core-path-l1-1-0.dll的解决方案,希望能对使用Python的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案 文章目录 1. 问题描述 2. 解决方案

weixin_43178406的博客 20万+

视频人像分割算法—C++推理(视频抠图 图片抠图)

本文章记录服务外包竞赛过程中对RobustVideoMatting模型进行C++推理的过程。 文章目录相关参考一、基于lite.ai.toolkit的RVM推理编译1.源码编译二、推理功能改进与完善1.引入库2.读入数据总结 相关参考 本文参考模型代码: RobustVideoMatting. 本文参考C++推理工具: lite.ai.toolkit-RVM. 提示:该案例运行环境为Windows+CPU环境 一、基于lite.ai.toolkit的RVM推理编译 1.源码编译 二、推理功能改进与完

water200101的博客 3169

max96712 GMSL1/2 相机调试记录

在部分相机调试中,使用i2cdetect 无法进行i2c扫描,一旦进行扫描会影响整个I2C总线通信异常,但是其能使用i2ctranfer命令进行读写操作,并不影响相机的开发调试。max96712的流路径分布如下图所示,需要通过对max96712进行相关配置,对GMSL-A/B/C/D进入的数据规划pipe。确认VID_PKL_DET 状态。max96712相关状态确认。MAX97612 状态确认。Linux 状态确认。

navy2015_163的博客 1110

实时高分辨率视频抠像

的,即预测结果是 0-1 的任意值,而 segmentation 的预测结果则是 0 或 1 的整。下图是 MobileNetV3 的网络架构:large 和 small 的整体结构一致,区别就。只使用人类的图像,并将它们组合成 420/15 train/val 分割用于训练。和连接,ConvGRU 层只在一半的通道上操作。的 8 位可以表示的范围是 0-255,即 255 代表不透明(白色),0 表示完全透明。用预训练的 ImageNet 权重进行初始化,并使用 1e−4 学习率,而网络的其余部分。

qq_50213874的博客 8067

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

如何用RobustVideoMatting实现4K 76FPS实时视频抠像?告别模糊边缘的终极解决方案

RobustVideoMatting(RVM)是一个基于PyTorch的高性能实时视频抠像项目,由字节跳动开发,支持TensorFlow、TensorFlow.js、ONNX和CoreML等多种框架。该项目采用循环神经网络处理视频时序信息,能够在Nvidia GTX 1080 Ti GPU上实现4K分辨率76FPS和HD分辨率104FPS的实时抠像性能,为视频编辑、直播、虚拟背景等场景提供专业级解

gitblog_01063的博客 835

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

终极视频抠像神器:RobustVideoMatting如何用时序优化技术解决运动模糊

在视频制作和直播领域,**RobustVideoMatting**作为一款优秀的视频抠像工具,有效改善了传统处理运动模糊的方式。这款由字节跳动开发的开源项目,通过创新的时序优化技术,实现了在高速运动场景下依然保持边缘细节的良好抠像效果。 ## 为什么传统抠像技术难以处理运动模糊? 传统视频抠像技术通常将每一帧作为独立的图片进行处理,这种方法在面对快速运动或复杂背景时往往会出现边缘模糊、闪烁等问

gitblog_01052的博客 459

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

如何用RobustVideoMatting实现专业级视频抠像:从入门到精通的完整指南

RobustVideoMatting(简称RVM)是一个强大的视频抠像工具,支持PyTorch、TensorFlow、TensorFlow.js、ONNX和CoreML等多种框架,能够帮助用户轻松实现高质量的视频背景分离效果。无论是内容创作、在线教育还是视频会议,RVM都能提供精准高效的抠像解决方案。 ## 🎥 RVM视频抠像的核心优势 RVM作为新一代视频抠像技术,具有以下显著特点: -

gitblog_00930的博客 494

3分钟学会实时视频抠像:RobustVideoMatting让专业级效果触手可及

视频抠像技术正以前所未有的速度改变着视频创作生态,而RobustVideoMatting作为一款开源的高性能视频抠像工具,让普通用户也能轻松实现专业级的背景分离效果。这个由字节跳动开发的项目支持PyTorch、TensorFlow、TensorFlow.js、ONNX和CoreML等多种框架,真正做到了跨平台、高效率的视频处理。 ## 为什么选择RobustVideoMatting?🎯 在众

gitblog_00938的博客 938

没有绿幕,AI给我们造 | 超强的稳定视频抠像 (RVM)来了

稳定视频抠像 (Robust Video Matting,RVM)专为稳定人物视频抠像设计

PaddlePaddle 1807

突破性实时视频抠像技术:RobustVideoMatting如何实现4K 76FPS的高性能表现

RobustVideoMatting(RVM)是一个革命性的实时视频抠像解决方案,专为高质量人物视频抠像设计。这个开源项目通过创新的循环神经网络架构和快速引导滤波技术,实现了在NVIDIA GTX 1080 Ti GPU上达到**4K分辨率76FPS**和**HD分辨率104FPS**的惊人性能,为视频编辑、直播、虚拟背景等应用场景提供了专业级的实时抠像能力。 ## 为什么传统视频抠像技术面临挑

gitblog_01167的博客 519

终极视频抠像方案:RobustVideoMatting与YOLO的完美集成指南

在当今数字内容创作蓬勃发展的时代,**视频抠像技术**已经成为制作高质量视频内容的关键环节。无论是短视频制作、直播互动还是专业影视后期,精准的人物抠像都能为作品增色不少。今天我们要介绍的**RobustVideoMatting**项目,正是这个领域的佼佼者,它结合了先进的时间序列建模能力,能够实现实时高清视频抠像。🚀 ## 为什么需要视频抠像技术? **视频抠像**技术通过分离视频中的人物与

gitblog_00732的博客 379

视频抠像的未来:RobustVideoMatting的技术演进与路线图

你是否还在为视频抠像中边缘模糊、动态物体丢失、复杂背景干扰而烦恼?Robust Video Matting(RVM)作为新一代视频抠像技术,通过循环神经网络(Recurrent Neural Network, RNN)引入时间记忆机制,实现了对动态场景的精准捕捉。本文将深入解析RVM的技术突破、核心架构及未来演进方向,帮助你全面掌握这一革新性工具。 读完本文你将了解: - RVM如何解决传统视频...

gitblog_00785的博客 392

高分辨率实时抠像-RobustVideoMatting飞桨复现

转自AI Studio,原文链接:高分辨率实时抠像-RobustVideoMatting(RVM)飞桨复现 - 飞桨AI Studio 飞桨复现视频抠像RobustVideoMatting(RVM) 这是作者林山川的第二篇关于视频抠像的论文,他的第一篇论文获得CVPR2021最佳学生论文提名奖(提名只有三篇论文),论文代码地址 林山川的第一篇论文是学生时代发布的,第二篇论文RobustVideoMatting是在字节跳动发布的,期待他在微软的第三篇论文实现。 在综合研判后,决定用飞桨复现他的第二篇论

m0_63642362的博客 3623

推荐 2 个 一键「视频抠图」开源工具

传统工具依赖手动标注的 trimap 或静态背景图,而这个开源工具仅凭原始视频即可完成抠像,甚至能智能识别动态背景中的隐藏信息(如被遮挡物体突然出现)在NVIDIA GTX 1080Ti显卡上,RVM可实现4K视频76FPS、高清视频104FPS的实时处理,比同类模型快2倍以上,且参数减少42%:采用双网络结构(Base+Refine),在低分辨率快速定位主体,再对细节区域优化,兼顾速度与精度,即使是发丝也能清晰分离。视频抠像工具 RobustVideoMatting,发丝级精度实时处理。

公众号:逛逛GitHub 2592

【GitHub项目推荐--视频抠图工具】【转载】

视频抠像工具 RobustVideoMatting,发丝级精度实时处理。这个 AI 开源工具不依赖绿幕,处理速度快、边缘精细。采用循环神经网络(RNN)处理视频流,通过记忆帧之间的时间信息,避免传统逐帧处理导致的边缘闪烁问题。例如人物快速转头时,头发和轮廓依然保持自然连贯。传统工具依赖手动标注的 trimap 或静态背景图,而这个开源工具仅凭原始视频即可完成抠像,甚至能智能识别动态背景中的隐藏信息(如被遮挡物体突然出现)③ 超高性能表现。

j8267643的博客 590
上一篇: 深度学习发现古人类遗址,AI 考古比胡八一更高效
下一篇: 动漫风格迁移AnimeGANv2,发布线上运行Demo
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值