music-transformer：基于深度学习的音乐生成模型

劳颜甜Hattie

于 2025-04-02 11:10:44 发布

阅读量634

点赞数 14

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/gitblog_00352/article/details/146938521

music-transformer：基于深度学习的音乐生成模型

music-transformer My project to build and train a Music Transformer in PyTorch. 项目地址: https://gitcode.com/gh_mirrors/mu/music-transformer

项目介绍

music-transformer 是一个基于深度学习的音乐生成模型，采用了相对位置编码的 Transformer 解码器（Relative Self-Attention）。该模型不同于传统 Transformer 架构，它不仅考虑序列元素之间的绝对位置，更注重它们之间的相对距离。本项目旨在探索 AI 生成音乐的可能性，并学习当前在算法和架构方面的 AI 音乐生成研究。项目仓库包含了用于预处理 MIDI 数据、使用 PyTorch 训练预层归一化音乐变压器模型的 Python 脚本，以及使用训练好的（或如果你勇敢的话，未训练的）音乐变压器生成 MIDI 文件的脚本。

项目技术分析

music-transformer 的核心技术是 Transformer 解码器与相对位置编码的结合。这种结构使得模型在生成音乐时，能够更好地理解音符之间的相对关系，而非仅仅是它们在序列中的绝对位置。项目使用了 PyTorch 作为主要的深度学习框架，并依赖于 MIDI 文件和事件词汇表进行数据处理和模型训练。

项目的主要技术特点包括：

相对位置编码：通过相对位置编码，模型可以更好地捕捉序列元素之间的相对距离，从而提高音乐生成的质量。
预层归一化：在训练过程中采用预层归一化技术，有助于提高训练效率和模型性能。
灵活的数据预处理：项目提供了灵活的数据预处理脚本，可以将 MIDI 文件转换成模型所需的格式，并进行必要的序列切割和数据增强。

项目技术应用场景

music-transformer 可应用于多种场景，包括但不限于：

音乐创作：为音乐创作者提供灵感和创作辅助，生成新颖的音乐作品。
音乐教育：辅助音乐教学，生成特定的音乐片段或作品，供学生学习和分析。
娱乐应用：在游戏、影视、直播等娱乐内容中，生成背景音乐或配乐。

项目特点

music-transformer 的主要特点如下：

开源自由：作为开源项目，任何人都可以自由使用、修改和分享该项目。
易于部署：项目依赖项较少，且提供了详细的安装和部署指南，易于在多种环境中使用。
可定制性：用户可以根据自己的需求，调整模型的超参数，甚至训练自己的音乐变压器模型。
预训练模型：项目提供了三种预训练的音乐变压器模型，用户可以直接使用这些模型生成音乐，无需编写任何代码。
交互式体验：通过 Google Colab 的交互式笔记本，用户可以轻松地生成和下载音乐。

以下是一个简要的教程，介绍如何使用 music-transformer 生成音乐：

生成音乐

首先，确保已经安装了所需的依赖项（PyTorch 和 Mido），然后按照以下步骤操作：

克隆仓库：

git clone https://github.com/spectraldoy/music-transformer
cd ./music-transformer
pip install -r requirements.txt

运行生成脚本：假设你有一个预训练的音乐变压器模型的 state_dict 和 hparams 保存在 .../save_path.pt，并且你想将生成的 MIDI 文件保存在 .../gen_audio.mid，你可以运行以下命令：
```
python generate.py .../save_path.pt .../gen_audio.mid
```
你还可以指定生成参数，如采样温度、top_k 样本数量等。
使用预训练模型：项目仓库中提供了三种小型预训练的音乐变压器模型，你可以直接使用这些模型生成音乐，例如：
```
python generate.py models/chopintransformerv5.pt .../gen_audio.mid -v
```