《Hallo2项目安装与配置指南》

《Hallo2项目安装与配置指南》

hallo2 Hallo2: Long-Duration and High-Resolution Audio-driven Portrait Image Animation 项目地址: https://gitcode.com/gh_mirrors/ha/hallo2

1. 项目基础介绍

Hallo2 是一个开源项目，旨在实现长时间和高分辨率的音频驱动的肖像图像动画。该项目由复旦大学等机构的研究人员开发，并在ICLR 2025会议上发表论文。项目的主要编程语言是Python。

2. 项目使用的关键技术和框架

• 编程语言：Python
• 音视频处理：使用ffmpeg库进行音视频的转换和处理。
• 深度学习框架：基于PyTorch框架进行模型训练和推理。
• 关键技术：
  • 音频分离：使用MDX-Net模型进行音频的分离，提取人声。
  • 人脸检测与标记：利用MediaPipe和InsightFace库进行人脸检测和68点标记。
  • 图像生成：使用UNet和StableDiffusion等模型生成图像。
  • 运动模块：利用AnimateDiff中的运动模块来驱动图像中的面部动作。

3. 项目安装和配置的准备工作与详细步骤

准备工作

• 操作系统：Ubuntu 20.04/Ubuntu 22.04
• GPU：NVIDIA GPU（推荐使用A100）
• CUDA版本：11.8
• Python版本：3.10
• 依赖库：PyTorch、ffmpeg等

安装步骤

步骤1：克隆项目代码

首先，需要将项目代码从GitHub克隆到本地：

git clone https://github.com/fudan-generative-vision/hallo2.git
cd hallo2

步骤2：创建Python虚拟环境

创建一个名为hallo的Python虚拟环境，并激活它：

conda create -n hallo python=3.10
conda activate hallo

步骤3：安装Python依赖

在虚拟环境中安装所需的Python包：

pip install torch==2.2.2 torchvision==0.17.2 torchaudio==2.2.2 --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt

步骤4：安装ffmpeg

使用以下命令安装ffmpeg：

apt-get install ffmpeg

步骤5：下载预训练模型

从HuggingFace库下载所需的预训练模型：

pip install huggingface_hub
huggingface-cli download fudan-generative-ai/hallo2 --local-dir ./pretrained_models

或者，也可以单独下载每个模型，并将其放置在pretrained_models目录下，目录结构应与项目要求一致。

步骤6：运行示例

在完成所有安装步骤后，可以按照项目提供的示例来运行脚本，进行图像动画的生成。

以上步骤为Hallo2项目的详细安装和配置指南，按照这些步骤操作，即可完成项目的搭建。

hallo2 Hallo2: Long-Duration and High-Resolution Audio-driven Portrait Image Animation 项目地址: https://gitcode.com/gh_mirrors/ha/hallo2