音乐生成开源项目YuE使用教程

音乐生成开源项目YuE使用教程

YuE YuE: Open Full-song Music Generation Foundation Model, something similar to Suno.ai but open 项目地址: https://gitcode.com/gh_mirrors/yue/YuE

1. 项目介绍

YuE（乐）是一个开源的音乐生成基础模型，旨在将歌词转化为完整的歌曲。这个项目支持多种语言和音乐风格，能够生成包含人声和伴奏的几分钟长的完整歌曲。YuE模型的特点是多样性、灵活性和高质量的音乐生成能力，适用于各种音乐创作场景。

2. 项目快速启动

以下是快速启动YuE项目的步骤：

首先，确保你的环境中安装了以下依赖：

• Python 3.8 或更高版本
• CUDA 11.8 或更高版本
• PyTorch、torchvision 和 torchaudio
• FlashAttention 2

安装环境：

conda create -n yue python=3.8
conda activate yue
conda install pytorch torchvision torchaudio cudatoolkit=11.8 -c pytorch -c nvidia
pip install -r <(curl -sSL https://raw.githubusercontent.com/multimodal-art-projection/YuE/main/requirements.txt)
pip install flash-attn --no-build-isolation

下载代码和模型：

git lfs install
git clone https://github.com/multimodal-art-projection/YuE.git
cd YuE/inference/
git clone https://huggingface.co/m-a-p/xcodec_mini_infer

运行推理：

cd YuE/inference/
python infer.py \
--cuda_idx 0 \
--stage1_model m-a-p/YuE-s1-7B-anneal-en-cot \
--stage2_model m-a-p/YuE-s2-1B-general \
--genre_txt ../prompt_egs/genre.txt \
--lyrics_txt ..

根据需要，你可以调整--stage2_batch_size来加速推理，但请注意内存溢出的问题。

3. 应用案例和最佳实践

应用案例

• 音乐创作：使用YuE生成原创音乐作品。
• 音乐风格转换：通过提示模型参考歌曲，生成相似风格的新歌曲。
• 声音克隆：利用模型的双轨道ICL模式，克隆特定歌手的声音。

最佳实践

• 提示工程：在genre.txt和lyrics.txt中定制提示，以引导模型生成期望风格的音乐。
• 内存管理：使用flash-attn减少内存使用，避免内存溢出。
• 性能优化：根据GPU内存大小，适当调整推理的会话数量和批次大小。

4. 典型生态项目

• YuE-UI：基于Gradio的界面，支持批量生成、输出选择和继续生成。
• YuE-extend：支持音乐继续生成和Google Colab。
• YuE-exllamav2 和 YuEGP：为内存有限的用户提供加速生成和更好连贯性的选项。

以上就是YuE音乐生成项目的使用教程。通过这个教程，你可以快速入门并开始使用YuE生成自己的音乐作品。

YuE YuE: Open Full-song Music Generation Foundation Model, something similar to Suno.ai but open 项目地址: https://gitcode.com/gh_mirrors/yue/YuE