快手开源的人像视频生成框架LivePortrait快速体验

快手可灵团队开源的人像视频生成框架LivePortrait在人工智能领域引起轰动。这款创新工具仅需一张静态图像就能生成栩栩如生的动态视频，展现了AI技术在视频生成领域的巨大潜力。

1.LivePortrait简介

LivePortrait一经发布便在开源社区引起广泛关注。短短时间内，该项目在GitHub上已获得7.5K星标，成为当下最热门的AI项目之一。不仅如此，它还吸引了HuggingFace首席战略官Thomas Wolf的亲身体验，并在HuggingFace平台的全部应用中位居趋势榜首。

更多资源信息，可以查看：

• Github源码地址：
  https://github.com/KwaiVGI/LivePortrait
• 论文链接：
  https://arxiv.org/abs/2407.03168
• 项目主页：
  https://liveportrait.github.io/
• HuggingFace Space一键在线体验：
  https://huggingface.co/spaces/KwaiVGI/LivePortrait

2.快速上手

1).下载源码

git clone https://github.com/KwaiVGI/LivePortrait cd LivePortrait

2).创建环境

# create env using conda conda create -n LivePortrait python==3.9 conda activate LivePortrait

3).安装依赖

# install dependencies with pip # for Linux and Windows users pip install -r requirements.txt

4).下载预训练模型

下载模型之前请确认已经正确安装了ffmpeg,并且配置了相关的环境变量。

huggingface-cli download --resume-download KwaiVGI/LivePortrait --local-dir g:/ai_model/liveportait

把下载好的模型里面的insightface和liveportrait目录复制到项目的pretrained_weights目录里面。目录结构如下：

pretrained_weights ├── insightface │ └── models │ └── buffalo_l │ ├── 2d106det.onnx │ └── det_10g.onnx └── liveportrait ├── base_models │ ├── appearance_feature_extractor.pth │ ├── motion_extractor.pth │ ├── spade_generator.pth │ └── warping_module.pth ├── landmark.onnx └── retargeting_models └── stitching_retargeting_module.pth

5).运行gradio web api界面

# For Linux and Windows users (and macOS with Intel??) python app.py

运行效果如下：

Running on local URL: http://127.0.0.1:8890 To create a public link, set `share=True` in `launch()`.

6).推理测试

选择输入图像或者视频，选择驱动视频后点击Animate按钮就可以生成源图片或者视频的表情姿态极速迁移后的目标视频。由于是在个人笔记本上推理，对于一个7秒左右的驱动视频，推荐时间大约300秒左右(5分钟)。

常见异常问题：

解决OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll（或者libiomp4md.dll） already initialized.报错的问题

解决办法1：
在pycharm里调试程序时可以直接通过在程序前添加这两个语句解决。

import os os.environ["KMP_DUPLICATE_LIB_OK"]='TRUE'

解决办法2：
办法1不能解决问题的话，甚至直接在terminal上import torch也会出现这种问题：

究其原因其实是，anaconda的环境下存在两个libiomp5md.dll文件。所以直接去虚拟环境的路径下搜索这个文件，可以看到在环境里有两个dll文件：

其中第一个是torch路径下的，第二个是虚拟环境本身路径下的，转到第二个目录下把它删除掉即可。

解决AttributeError: __pydantic_core_schema__异常问题，gradio UI界面启动后无法上传图片视频素材。

解决方案：

把gradio升级为最新版本。

pip install gradio --upgrade

3.落地与展望

LivePortrait的相关技术点，已在快手的诸多业务完成落地，包括快手魔表、快手私信、快影的AI表情玩法、快手直播、以及快手孵化的面向年轻人的噗叽APP等，并将探索新的落地方式，持续为用户创造价值。此外，LivePortrait会基于可灵基础模型，进一步探索多模态驱动的人像视频生成，追求更高品质的效果。