30分钟搞定！Hallo音频驱动肖像动画零基础实操指南

30分钟搞定！Hallo音频驱动肖像动画零基础实操指南

【免费下载链接】hallo Hallo: Hierarchical Audio-Driven Visual Synthesis for Portrait Image Animation 项目地址: https://gitcode.com/gh_mirrors/ha/hallo

你还在为制作生动的肖像动画而烦恼吗？复杂的软件操作、冗长的学习曲线，是不是让你望而却步？本文将带你快速上手Hallo，一款强大的音频驱动肖像动画工具，无需专业技能，30分钟即可让静态肖像图片随着音频动起来。读完本文，你将掌握从环境搭建到生成动画的完整流程，轻松制作出专业级的音频驱动肖像动画效果。

项目简介：认识Hallo

Hallo（Hierarchical Audio-Driven Visual Synthesis for Portrait Image Animation）是一款基于分层音频驱动的肖像图像动画合成工具。它能够根据输入的音频文件，自动生成与之匹配的肖像动画，让静态的图片“活”起来。无论是制作短视频、虚拟主播，还是个性化表情包，Hallo都能满足你的需求。

项目结构清晰，主要包含以下核心模块：

• 模型模块：hallo/models/，包含了音频投影模型、图像投影模型、运动模块等关键组件。
• 动画模块：hallo/animate/，实现了人脸动画的核心逻辑。
• 数据处理模块：hallo/datasets/，负责音频和图像的预处理工作。
• 工具模块：hallo/utils/，提供了配置管理、通用工具函数等支持。
• 脚本模块：scripts/，包含了推理脚本和应用脚本，是用户交互的主要入口。

环境准备：快速搭建运行环境

系统要求

Hallo对系统环境有一定要求，建议使用Ubuntu 20.04/Ubuntu 22.04操作系统，配备Cuda 12.1。经过测试，A100 GPU能够提供良好的运行效果。

安装步骤

1. 克隆项目仓库 首先，你需要将Hallo项目克隆到本地。打开终端，执行以下命令：

   git clone https://gitcode.com/gh_mirrors/ha/hallo
   cd hallo
   

2. 创建并激活虚拟环境 使用conda创建一个独立的Python环境，避免与其他项目依赖冲突：

   conda create -n hallo python=3.10
   conda activate hallo
   

3. 安装依赖包 项目提供了详细的依赖清单，通过pip命令即可一键安装：

   pip install -r requirements.txt
   pip install .
   

4. 安装FFmpeg FFmpeg是处理音视频的必要工具，执行以下命令安装：

   apt-get install ffmpeg
   

模型准备：下载预训练模型

Hallo的运行需要一些预训练模型的支持，这些模型可以从HuggingFace仓库方便地获取。

1. 克隆预训练模型 执行以下命令将预训练模型克隆到项目的pretrained_models目录：

   git lfs install
   git clone https://huggingface.co/fudan-generative-ai/hallo pretrained_models
   

2. 模型结构说明 下载完成后，pretrained_models目录下会包含多个子目录，分别存放不同功能的模型，如音频分离模型、人脸分析模型、运动模块等。完整的模型结构如下：

   ./pretrained_models/
   |-- audio_separator/          # 音频分离模型
   |-- face_analysis/            # 人脸分析模型
   |-- motion_module/            # 运动模块模型
   |-- sd-vae-ft-mse/            # VAE模型
   |-- stable-diffusion-v1-5/    # 稳定扩散模型
   `-- wav2vec/                  # 音频特征提取模型
   

数据准备：示例数据与自定义数据

示例数据

Hallo项目中已经提供了一些示例数据，方便你快速体验。这些数据位于examples目录下：

• 驱动音频：examples/driving_audios/，包含多个WAV格式的音频文件。
• 参考图像：examples/reference_images/，包含多张肖像图片。

自定义数据要求

如果你想使用自己的数据，需要满足以下要求：

源图像要求：

1. 图像需裁剪为正方形。
2. 人脸应位于图像中央，占比50%-70%。
3. 人脸需正面朝向，旋转角度小于30°（不支持侧脸）。

驱动音频要求：

1. 必须为WAV格式。
2. 目前仅支持英语音频（训练数据集限制）。
3. 确保人声清晰，背景音乐可接受。

快速上手：生成你的第一个动画

一切准备就绪，现在让我们开始生成第一个音频驱动肖像动画吧！

运行推理脚本

Hallo提供了便捷的推理脚本scripts/inference.py，通过简单的命令即可启动动画生成过程。在终端中执行以下命令：

python scripts/inference.py --source_image examples/reference_images/1.jpg --driving_audio examples/driving_audios/1.wav

参数说明

上述命令中，--source_image指定了源肖像图片的路径，--driving_audio指定了驱动音频的路径。你还可以通过其他参数调整动画效果：

• --output：指定输出视频文件名，默认为.cache/output.mp4。
• --pose_weight：姿态权重，控制人物姿态的夸张程度。
• --face_weight：人脸权重，影响人脸表情的变化幅度。
• --lip_weight：嘴唇权重，调整嘴唇动作与音频的匹配度。
• --face_expand_ratio：人脸区域扩展比例，控制人脸在图像中的占比。

例如，调整嘴唇权重为1.2，使嘴唇动作更明显：

python scripts/inference.py --source_image examples/reference_images/1.jpg --driving_audio examples/driving_audios/1.wav --lip_weight 1.2

查看结果

动画生成完成后，你可以在指定的输出路径找到生成的视频文件。默认情况下，视频保存在.cache/output.mp4。用任意视频播放器打开即可欣赏你的作品。

进阶探索：Hallo框架解析

Hallo的强大功能源于其精心设计的框架结构。下图展示了Hallo的抽象框架和详细框架，帮助你更好地理解其工作原理。

Hallo的抽象框架主要包括音频处理、图像处理、特征提取、运动生成等核心环节。音频经过处理后提取特征，与图像特征融合，再通过运动模块生成动画序列。

详细框架则展示了Hallo内部的网络结构和数据流向。从音频和图像输入，到中间的特征处理，再到最终的视频输出，每个环节都有专门的模块负责，协同工作以实现高质量的动画生成。

社区资源：拓展你的Hallo体验

Hallo拥有活跃的社区，开发者们贡献了许多有用的资源，帮助你更好地使用和拓展Hallo的功能：

• hallo-webui：由@daswer123开发的WebUI界面，提供更直观的操作方式。
• hallo-for-windows：Windows系统的适配指南，让Windows用户也能轻松使用Hallo。
• ComfyUI-Hallo：将Hallo集成到ComfyUI工具中，拓展工作流可能性。

总结与展望

通过本文的介绍，你已经掌握了Hallo的基本使用方法，能够快速生成音频驱动的肖像动画。从环境搭建到模型准备，再到动画生成，Hallo提供了简洁高效的流程，让普通用户也能轻松上手。

Hallo项目仍在不断发展中，未来将持续优化性能，支持更多语言和更低分辨率的图像，同时也会开放数据准备和训练脚本，让用户能够根据自己的需求进行定制和优化。

现在，就动手尝试吧！用Hallo为你的肖像图片注入生命，创造出更多有趣的音频驱动动画作品。如果你在使用过程中遇到问题或有新的想法，欢迎参与到Hallo社区中，与开发者和其他用户交流分享。

官方文档：README.md 项目教程：scripts/inference.py

【免费下载链接】hallo Hallo: Hierarchical Audio-Driven Visual Synthesis for Portrait Image Animation 项目地址: https://gitcode.com/gh_mirrors/ha/hallo