LatentSync 开源项目使用教程

LatentSync 开源项目使用教程

LatentSync Taming Stable Diffusion for Lip Sync! 项目地址: https://gitcode.com/gh_mirrors/la/LatentSync

1. 项目介绍

LatentSync 是由字节跳动开源的一个端到端的唇同步方法，基于音频条件下的潜在扩散模型，无需任何中间运动表示。该方法不同于其他基于像素空间扩散或两阶段生成的唇同步方法，能够直接利用 Stable Diffusion 的强大能力来建模复杂的音频视觉相关性。

2. 项目快速启动

环境设置

首先，需要安装必要的依赖包和下载预训练的检查点。可以通过以下命令来设置环境：

source setup_env.sh

如果下载成功，检查点应该以下列结构出现在目录中：

./checkpoints/
|-- latentsync_unet.pt
|-- stable_syncnet.pt
|-- whisper
|   `-- tiny.pt
|-- auxiliary
|   |-- 2DFAN4-cd938726ad.zip
|   |-- i3d_torchscript.pt
|   |-- koniq_pretrained.pkl
|   |-- s3fd-619a316812.pth
|   |-- sfd_face.pth
|   |-- syncnet_v2.model
|   |-- vgg16-397923af.pth
|   `-- vit_g_hybrid_pt_1200e_ssv2_ft.pth

推断

推断有两种方式，都需要至少 6.8 GB 的 VRAM。

使用 Gradio 应用

运行以下命令来启动 Gradio 应用进行推断：

python gradio_app.py

使用命令行界面

运行以下脚本来执行推断：

./inference.sh

你可以尝试调整以下推断参数以获得更好的结果：

• inference_steps [20-50]：值越高，视觉质量越好，但生成速度会减慢。
• guidance_scale [1.0-3.0]：值越高，唇同步准确性越好，但可能会导致视频失真或抖动。

3. 应用案例和最佳实践

以下是一些使用 LatentSync 的应用案例和最佳实践：

• 唇同步动画制作：可以将 LatentSync 应用于动画制作中，自动匹配角色的口型与音频，提高动画的逼真度。
• 视频内容审核：在视频内容审核过程中，LatentSync 可用于检测视频中的音频与口型是否同步，从而识别可能的不真实内容。
• 实时直播增强：实时直播中，LatentSync 可用于实时处理直播视频，确保直播人物的口型与讲话内容同步。

4. 典型生态项目

• Stable Diffusion：LatentSync 所依赖的扩散模型，用于生成高质量的图像。
• Whisper：用于将梅尔频谱图转换为音频嵌入的模型。
• face-alignment：用于检测视频中人脸标记的工具，以便进行仿射变换。
• PySceneDetect：用于视频场景检测的库，以分割视频片段。

以上是对 LatentSync 开源项目的简要介绍和快速启动指南。希望这些信息能够帮助你开始使用这个项目，并在你的应用中实现唇同步功能。

LatentSync Taming Stable Diffusion for Lip Sync! 项目地址: https://gitcode.com/gh_mirrors/la/LatentSync