【AI视频王者归来】Motionshop：AI一键替换视频人物为3D角色，效果逼真！

Motionshop—AI替换视频人物。上传一段视频，AI自动检测视频中的人物，并替换成3D卡通角色模型，生成有趣的AI视频。

如何使用

Motionshop—AI替换视频人物，上传一段视频，AI自动识别视频中的运动主体人物，并一键替换成有趣的3D角色模型，生成与众不同的AI视频。

• 第一步：上传一个包含完整人物的视频（请保证视频一镜到底且人物始终清晰完整，视频会自动截取前30秒）；

• 第二步：选择视频中要替换的人物（暂时不支持手动选择，算法会自动选择。

• 第三步：选择要替换的虚拟角色模型并点击生成，等待10分钟即可生成结果

论文介绍

摘要

我们提出了一个框架，用 3D 头像替换视频中的角色。我们的框架由两部分组成：

• 视频处理管道，用于提取修复的背景视频序列；

• 姿势估计和渲染管道，用于生成头像视频序列。

通过并行化这两个管道并使用高性能光线追踪渲染器TIDE，整个过程可以在几分钟内完成。

方法

字符检测

通过使用基于 Transformer 的框架将文本信息与现有的闭集检测器紧密融合，零样本目标检测也能取得良好的效果。通过开集目标检测方法检测感兴趣的目标候选，然后采用主导选择方法确定最终的目标区域。

分割与追踪

一旦成功检测到目标，就通过视频对象分割跟踪方法跟踪像素级目标区域，该方法由广泛使用的零样本分割方法、任何对象分割模型 (SAM)初始化和细化。与直接使用 SAM 相比，时间对应性得到提升，以更好地处理视频分割任务。

修复

剩余的图像区域由视频修复方法ProPainter 完成。具体来说，使用循环流完成来恢复损坏的流场，在图像域和特征域上采用双域传播来增强全局和局部时间一致性，同时，仅考虑部分标记的稀疏策略提高了效率并减少了内存消耗，同时保持了性能。

姿态估计

给定人物视频序列，采用姿态估计方法CVFFS 估计稳定人体姿态，采用SMPL 人体模型表示三维人体，是目前广泛应用的人体形态和姿态估计参数模型。

动画重定向

将估计的形状和姿势重新映射到所选的 3D 模型上。然后该模型可以像原始视频中的角色一样自然流畅地播放。即使原始角色和新模型之间存在显着差异，也可以获得令人满意的结果。

照明估算

当新的 3D 模型替换感兴趣的角色时，光照条件需要与原始视频保持一致。我们应用光照估计来更好地融合新的 3D 模型和原始场景。在未来，我们还将使用光照估计来处理阴影。

渲染

全新 3D 模型采用路径追踪渲染引擎TIDE 进行渲染，搭配精准材质系统，辅以运动模糊、时间域抗锯齿、时间域去噪等算法，将真实感与速度完美结合，为用户更高效地获取视频内容奠定了坚实基础。

构成

最后将渲染后的图像与原始视频合成，生成最终的视频。

效果

资料软件免费放送

次日同一发放请耐心等待

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。

需要的可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

**一、AIGC所有方向的学习路线**

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

这份完整版的学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】