SOME: 一款革命性的歌声MIDI提取工具

最新推荐文章于 2024-12-01 23:53:54 发布

2401_87458778

最新推荐文章于 2024-12-01 23:53:54 发布

阅读量2.3k

点赞数 20

文章标签：人工智能

本文链接：https://blog.youkuaiyun.com/2401_87458778/article/details/142459044

版权

SOME

SOME (Singing-Oriented MIDI Extractor)是由OpenVPI团队开发的一款专门针对歌声设计的MIDI提取工具。它能够将人声录音转换为MIDI序列,为歌声合成、音乐制作等领域提供了便捷的MIDI生成解决方案。

作为一款开源工具,SOME在GitHub上发布并持续更新,目前已获得近400颗星标。它的出现为音乐创作者和AI歌声合成爱好者带来了新的可能性。

SOME具有以下几个突出的优势:

速度快:在i5 12400 CPU上,SOME的处理速度是实时的9倍;在3080Ti GPU上更是达到了惊人的300倍实时速度。这意味着它可以在几秒钟内完成一首歌曲的MIDI提取。
资源需求低:SOME可以在少量训练数据(仅3小时)的情况下就能取得不错的效果,非常适合个人用户或小型团队使用。
功能强大:SOME能够生成非整数MIDI值,特别适合用于DiffSinger等AI歌声合成模型的变量标注。
开源免费:作为MIT协议下的开源项目,SOME可以被自由使用和修改,为研究和应用提供了极大的便利。
跨平台支持:SOME支持Windows、Linux和macOS等多个操作系统平台。

SOME工作流程示意图

要使用SOME,你需要先安装Python 3.8或更高版本。强烈建议使用Conda或venv创建虚拟环境来安装依赖包。

pip install -r requirements.txt

SOME提供了命令行和Web UI两种使用方式:

python infer.py --model CKPT_PATH --wav WAV_PATH

这将加载指定路径的模型,从音频文件提取MIDI,并保存MIDI文件。

运行以下命令启动Web界面:

python webui.py --work_dir WORK_DIR

然后通过浏览器打开gradio界面,按照页面说明使用WORK_DIR下的模型。

SOME还可以用于处理现有的DiffSinger数据集:

python batch_infer.py --model CKPT_PATH --dataset RAW_DATA_DIR --overwrite

这将使用模型从数据集中的录音提取所有MIDI序列(带浮点音高值),并在transcriptions.csv中添加或替换note_seq和note_dur字段。

SOME在音乐制作和AI歌声合成领域有广泛的应用前景:

作为一个开源项目,SOME具有巨大的发展潜力:

SOME作为一款高效、灵活的歌声MIDI提取工具,为音乐创作和AI歌声合成领域带来了新的可能性。它不仅大大提高了MIDI提取的效率,还为个人用户和小型团队提供了可负担的解决方案。随着持续的开发和社区贡献,SOME有望在音乐科技领域发挥越来越重要的作用。

无论你是音乐制作人、AI研究者,还是单纯对音乐技术感兴趣的爱好者,SOME都值得一试。它不仅是一个强大的工具,更是探索音乐与技术结合的绝佳起点。让我们共同期待SOME在未来带来更多惊喜!

文章链接：www.dongaigc.com/a/some-revolutionary-midi-tool

https://www.dongaigc.com/a/some-revolutionary-midi-tool