Sonic项目安装与配置指南

Sonic项目安装与配置指南

Sonic Official implementation of "Sonic: Shifting Focus to Global Audio Perception in Portrait Animation" 项目地址: https://gitcode.com/gh_mirrors/sonic5/Sonic

1. 项目基础介绍

Sonic项目是一个开源的音频驱动的肖像动画生成项目。它通过分析音频输入，将音频特征转换为肖像动画，实现声音与表情的同步。该项目主要使用了Python编程语言。

2. 关键技术与框架

• PyTorch: 用于深度学习模型的开发。
• CUDA: 支持NVIDIA GPU加速。
• Hugging Face Hub: 用于下载预训练模型。
• Whisper-tiny: 用于音频处理。
• stable-video-diffusion-img2vid-xt: 用于视频生成。

3. 安装和配置准备工作

准备工作

• 确保您的系统为Linux操作系统。
• 确保您有一个NVIDIA GPU，并且已经安装了CUDA。
• 安装Python 3和pip。

安装步骤

1. 安装PyTorch

   根据您的Python版本和CUDA版本，从PyTorch官网选择合适的命令进行安装。例如：

   pip3 install torch torchvision torchaudio
   

2. 安装项目依赖

   克隆项目仓库到本地，然后安装requirements.txt中列出的所有依赖：

   git clone https://github.com/jixiaozhong/Sonic.git
   cd Sonic
   pip3 install -r requirements.txt
   

3. 下载预训练模型

   使用Hugging Face Hub命令行工具下载所需的预训练模型：

   pip3 install huggingface_hub
   huggingface-cli download LeonJoe13/Sonic --local-dir ./checkpoints
   huggingface-cli download stabilityai/stable-video-diffusion-img2vid-xt --local-dir ./checkpoints/stable-video-diffusion-img2vid-xt
   huggingface-cli download openai/whisper-tiny --local-dir ./checkpoints/whisper-tiny
   

   或者手动下载预训练模型并放置到checkpoints目录下。

4. 运行示例

   运行demo.py脚本，传入输入图片、音频和输出视频的路径：

   python3 demo.py /path/to/input_image /path/to/input_audio /path/to/output_video
   

按照以上步骤，您应该能够成功安装和配置Sonic项目，并进行简单的音频驱动的肖像动画生成。

Sonic Official implementation of "Sonic: Shifting Focus to Global Audio Perception in Portrait Animation" 项目地址: https://gitcode.com/gh_mirrors/sonic5/Sonic