InspireMusic 安装与配置指南

InspireMusic 安装与配置指南

InspireMusic InspireMusic: A Unified Framework for Music, Song, Audio Generation. 项目地址: https://gitcode.com/gh_mirrors/in/InspireMusic

1. 项目基础介绍

InspireMusic 是一个专注于音乐、歌曲和音频生成的统一工具包。它包含一个基于自回归变换器的流匹配模型，能够生成高质量的长篇音乐。InspireMusic 支持文本到音乐、音乐继续、音乐重建和超分辨率等多种任务。

主要编程语言：Python

2. 项目使用的关键技术和框架

• 音频分词器：将原始音频波形转换为离散的音频标记，以便高效处理和训练。
• 自回归变换器模型：基于 Qwen2.5 模型，使用下一个标记预测方法在文本和音频标记上进行训练，生成连贯和上下文相关的标记序列。
• 超分辨率流匹配模型：将生成的标记映射到具有高分辨率细粒度声学细节的潜在特征，确保声学信息流动的高保真度。

3. 项目安装和配置准备工作

准备工作

• 确保您的系统满足以下要求：

  • Python >= 3.8
  • PyTorch >= 2.0.1
  • flash attention == 2.6.2/2.6.3
  • CUDA >= 11.8

• 安装 Conda（如果尚未安装）：

  # 请访问 https://docs.conda.io/en/latest/miniconda.html 获取安装指南
  

安装步骤

1. 克隆项目仓库：

   git clone --recursive https://github.com/FunAudioLLM/InspireMusic.git
   

2. 创建 Conda 环境：

   conda create -n inspiremusic python=3.8
   conda activate inspiremusic
   cd InspireMusic
   

3. 安装项目依赖：

   # 安装 pynini
   conda install -y -c conda-forge pynini==2.1.5
   # 安装项目依赖
   pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host=mirrors.aliyun.com
   

4. 安装 flash attention：

   pip install flash-attn --no-build-isolation
   

5. （可选）安装 sox 或 ffmpeg：

   # 安装 sox
   sudo apt-get install sox libsox-dev  # Ubuntu
   sudo yum install sox sox-devel      # CentOS
   
   # 安装 ffmpeg
   sudo apt-get install ffmpeg         # Ubuntu
   sudo yum install ffmpeg             # CentOS
   

6. 使用 Docker（可选）：

   # 构建 Docker 镜像
   docker build -t inspiremusic .
   # 启动 Docker 容器
   docker run -ti --gpus all -v .:/workspace/InspireMusic inspiremusic
   

7. 使用 Docker Compose（可选）：

   # 构建 Docker Compose 环境
   docker compose up -d --build
   # 附加到 Docker 容器
   docker exec -ti inspire-music bash
   

完成以上步骤后，您就可以开始使用 InspireMusic 进行音乐、歌曲和音频的生成工作了。

InspireMusic InspireMusic: A Unified Framework for Music, Song, Audio Generation. 项目地址: https://gitcode.com/gh_mirrors/in/InspireMusic