近日,快手和复旦大学、中科大共同研发的 LivePortrait 开源了。这同样是一款图生视频的大模型。提供一张正脸照,一段视频,照片上的人物就会栩栩如生的模仿视频中的表情了。

不知道大家有没有用过苹果的拟我表情,就是那个你可以选择一个动物或者其他东西的贴纸,然后录制一小段视频,贴纸角色会模仿你的口型。LivePortrait 实现的其实和这个功能差不多。其实这类数字人项目我们也介绍过很多,不过这次的 LivePortrait 是国产团队研发的,性能也很不错,生成视频超快。
通过扩展训练数据到约 6900 万高质量帧和采用混合图像视频训练策略,LivePortrait 能够更好地泛化,适应更多不同类型的输入数据。此外,LivePortrait 利用紧凑的隐式关键点代表混合形状,并设计缝合和重定向模块,这些模块使用计算开销极小的小型MLP,从而增强了对生成动画的控制能力。
甚至经过微调,你可以让小动物们模仿人的表情!

项目的部署也比较简单,首先克隆仓库,使用conda创建虚拟环境,安装所需的依赖项和FFmpeg。然后下载模型的权重文件,放到相应的目录,通过脚本运行即可。当然,如果你缺少一些相应的算力或是嫌部署过于麻烦,你也可以通过 HuggingFace 在线使用。感兴趣的小伙伴可以自行体验看看。
在线体验地址:
https://huggingface.co/spaces/KwaiVGI/LivePortrait
项目地址:
https://github.com/KwaiVGI/LivePortrait
284

被折叠的 条评论
为什么被折叠?



