Hallo - 音频驱动的肖像动画生成

Hallo是由百度联合复旦大学、苏黎世联邦理工学院和南京大学共同推出的开源项目。在音频驱动的肖像动画生成方面，这个项目取得了令人瞩目的进展。

Hallo项目摒弃了传统的参数模型，采用了一种全新的端到端扩散范式。通过一个层次化的音频驱动视觉合成模块，显著提高了音频输入与视觉输出之间的对齐精度，包括嘴唇、表情和姿态动作。

​

​

主要功能

• 经典电影致敬：通过动画技术向经典电影致敬。
• 虚拟角色：创建虚拟角色，用于游戏、电影或其他媒体。
• 真实人物：将真实人物的动作和表情转化为动画。
• 动作控制：精确控制角色的姿态、表情和嘴唇动作。
• 歌唱动画：生成与歌唱同步开始使用的动画。
• 跨演员表现：实现不同演员之间的表现转换。

开始使用

环境要求:

• 环境: Ubuntu 20.04/Ubuntu 22.04, Cuda 12.1
• GPUs(已测): A100

创建Cuda环境：

  conda create -n hallo python=3.10
  conda activate hallo

安装包:

  pip install -r requirements.txt
  pip install .

安装ffmpeg:

  apt-get install ffmpeg