LivePortrait:有点好玩的!

部署运行你感兴趣的模型镜像

近日,快手和复旦大学、中科大共同研发的 LivePortrait 开源了。这同样是一款图生视频的大模型。提供一张正脸照,一段视频,照片上的人物就会栩栩如生的模仿视频中的表情了。

图片

不知道大家有没有用过苹果的拟我表情,就是那个你可以选择一个动物或者其他东西的贴纸,然后录制一小段视频,贴纸角色会模仿你的口型。LivePortrait 实现的其实和这个功能差不多。其实这类数字人项目我们也介绍过很多,不过这次的 LivePortrait 是国产团队研发的,性能也很不错,生成视频超快。

通过扩展训练数据到约 6900 万高质量帧和采用混合图像视频训练策略,LivePortrait 能够更好地泛化,适应更多不同类型的输入数据。此外,LivePortrait 利用紧凑的隐式关键点代表混合形状,并设计缝合和重定向模块,这些模块使用计算开销极小的小型MLP,从而增强了对生成动画的控制能力。

甚至经过微调,你可以让小动物们模仿人的表情!

图片

项目的部署也比较简单,首先克隆仓库,使用conda创建虚拟环境,安装所需的依赖项和FFmpeg。然后下载模型的权重文件,放到相应的目录,通过脚本运行即可。当然,如果你缺少一些相应的算力或是嫌部署过于麻烦,你也可以通过 HuggingFace 在线使用。感兴趣的小伙伴可以自行体验看看。

在线体验地址:

https://huggingface.co/spaces/KwaiVGI/LivePortrait

项目地址:

https://github.com/KwaiVGI/LivePortrait

您可能感兴趣的与本文相关的镜像

GPT-SoVITS

GPT-SoVITS

AI应用

GPT-SoVITS 是一个开源的文本到语音(TTS)和语音转换模型,它结合了 GPT 的生成能力和 SoVITS 的语音转换技术。该项目以其强大的声音克隆能力而闻名,仅需少量语音样本(如5秒)即可实现高质量的即时语音合成,也可通过更长的音频(如1分钟)进行微调以获得更逼真的效果

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值