Tango 项目使用教程

Tango 项目使用教程

tango Codes and Model of the paper "Text-to-Audio Generation using Instruction Tuned LLM and Latent Diffusion Model" 项目地址: https://gitcode.com/gh_mirrors/ta/tango

1. 项目介绍

Tango 是一个基于扩散模型的文本到音频生成项目，由 declare-lab 开发。该项目能够根据文本提示生成包括人类声音、动物声音、自然和人工声音以及音效在内的真实音频。Tango 使用冻结的指令调优 LLM Flan-T5 作为文本编码器，并训练了一个基于 UNet 的扩散模型用于音频生成。尽管训练数据集比当前最先进的模型小 63 倍，Tango 在文本到音频生成的客观和主观指标上表现出色。

2. 项目快速启动

2.1 安装依赖

首先，克隆 Tango 项目并安装所需的依赖包：

git clone https://github.com/declare-lab/tango.git
cd tango
pip install -r requirements.txt

2.2 生成音频

使用以下代码生成音频：

import IPython
import soundfile as sf
from tango import Tango

# 初始化 Tango 模型
tango = Tango("declare-lab/tango2")

# 定义文本提示
prompt = "An audience cheering and clapping"

# 生成音频
audio = tango.generate(prompt)

# 保存音频文件
sf.write(f"{prompt}.wav", audio, samplerate=16000)

# 播放音频
IPython.display.Audio(data=audio, rate=16000)

3. 应用案例和最佳实践

3.1 应用案例

Tango 可以广泛应用于以下场景：

• 电影和游戏音效生成：根据剧本或游戏场景描述生成逼真的音效。
• 语音助手：生成自然语言提示对应的音频反馈。
• 教育：为教育内容生成生动的音频描述。

3.2 最佳实践

• 提高音频质量：在 generate 方法中使用更多的步骤（如 200 步）以提高音频质量，但会增加运行时间。
• 批量生成音频：使用 generate_for_batch 方法批量生成多个音频样本。

4. 典型生态项目

4.1 AudioCaps

AudioCaps 是一个用于音频描述的数据集，Tango 项目使用了 AudioCaps 数据集进行训练和评估。

4.2 Audio-Alpaca

Audio-Alpaca 是一个包含约 15k 个（提示，音频_w，音频_l）三元组的成对偏好数据集，其中音频_w 是首选生成的音频，音频_l 是不可取的音频。Tango 2 模型在 Audio-Alpaca 数据集上进行了训练。

通过以上步骤，您可以快速上手并应用 Tango 项目进行文本到音频的生成。

tango Codes and Model of the paper "Text-to-Audio Generation using Instruction Tuned LLM and Latent Diffusion Model" 项目地址: https://gitcode.com/gh_mirrors/ta/tango