OpenBayes 教程上新|支持 19 种语言,生成速度快 15 倍!ACE-Step 音乐生成模型上线

部署运行你感兴趣的模型镜像

新功能上线!

OpenBayes平台模型部署功能现已正式上线,使用自定义部署方式,通过编写 start.sh 启动脚本,即可自定义服务的启动方式。

更多操作详情:

https://openbayes.com/docs/serving

实战指南:在 OpenBayes 使用 vLLM 部署 DeepSeek-R1-Distill-Qwen-1.5B 模型

当前的音乐生成模型在生成速度、音乐连贯性和可控性之间面临着固有的权衡。例如,基于 LLM 的模型(例如 Yue、SongGen)在歌词对齐方面表现出色,但推理速度慢且存在结构性伪影。另一方面,扩散模型(例如 DiffRhythm)虽然能够实现更快的合成速度,但通常缺乏长距离的结构连贯性。对此,人工智能公司阶跃星辰(StepFun)与数字音乐平台 ACE Studio 联合推出了一款音乐生成基础模型 ACE-Step-v1-3.5B ,于 2025 年 5 月 7 日开源。该模型在 NVIDIA A100 GPU 上只需 20 秒即可合成长达 4 分钟的音乐,比基于 LLM 的基线方法快 15 倍,同时在旋律、和声和节奏指标方面实现了卓越的音乐连贯性和歌词对齐。

相较于传统 AI 音乐工具, ACE-Step 克服了现有方法的关键局限性,并通过整体架构设计实现了最佳性能,在多元风格流派、多语言支持、器乐表现力和人声表现力 4 个方面有着突出优势。其开源版本已支持 19 种语言输入,并且保留了精细的声学细节,支持高级控制机制,例如语音克隆、歌词编辑、混音和音轨生成等,此外还支持所有主流音乐风格、多种演唱风格,支持跨流派器乐生成,能精准还原乐器音色特征可生成包含复杂编曲的多轨音乐。

目前,「ACE-Step:音乐生成基础模型」已上线至 OpenBayes 公共教程板块,点击下方链接即可体验一键部署教程 ⬇️

教程链接:

https://go.openbayes.com/T5SLn

Demo 运行

01 运行阶段

1.登录 http://OpenBayes.com,在「公共教程」页面,选择键部署「ACE-Step:音乐生成基础模型」教程。 

2.页面跳转后,点击右上角「克隆」,将该教程克隆至自己的容器中。

3.选择「NVIDIA GeForce RTX 4090」以及「PyTorch」镜像,OpenBayes 平台提供了 4 种计费方式,大家可以按照需求选择「按量付费」或「包日/周/月」,点击「继续执行」。新用户使用下方邀请链接注册,可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费时长!

小贝总专属邀请链接(直接复制到浏览器打开):

https://go.openbayes.com/9S6Dr

4. 等待分配资源,首次克隆需等待 2 分钟左右的时间。当状态变为「运行中」后,点击「API 地址」旁边的跳转箭头,即可跳转至 Demo 页面。请注意,用户需在实名认证后才能使用 API 地址访问功能。

02 效果演示

该项目提供多任务创作面板:Text2Music Tab、Retake Tab、Repainting Tab、Edit Tab 和 Extend Tab。

各模块功能及参数调整简介如下:

Text2Music Tab

* Audio Duration:设置生成音频的时长(-1 表示随机生成)

* Tags:输入描述性标签、音乐流派或场景描述,用逗号分隔

* Lyrics:输入带有结构标签的歌词,如 [verse]、[chorus]、[bridge]

* Basic Settings:调整推理步数、指导比例和种子值

* Advanced Settings:微调调度器类型、CFG 类型、ERG 设置等参数

* 点击「Generate」按钮,根据输入内容创作音乐

Retake Tab

功能:通过不同种子值重新生成音乐并产生细微变化,调整变化参数以控制新版本与原版的差异程度

* variance:填写方差

* retake seeds (default None):填写随机数种子

* 点击「Retake」按钮,重新生成

Repainting Tab

功能:选择性重新生成音乐的特定段落

* variance:方差

* retake seeds (default None):随机种子

* Repaint Start Time:指定需要重新生成段落的开始时间

* Repaint End Time:指定需要重新生成段落的结束时间

* Repaint Source:选择源音频(text2music 、 last_repaint 或 upload)

* 点击「Repaint」按钮,重新生成

Edit Tab

功能:通过调整编辑参数控制对原曲的保留程度

* Edit Tags:修改标签来改编现有音乐

* Edit Lyrics:修改歌词来改编现有音乐

* edit seeds (default None):编辑随机种子

* Edit Type:编辑类型,可选择「only_lyrics」模式(保留原旋律)或「remix」模式(改变旋律)

* Repaint End Time:指定需要重新生成段落的结束时间

* edit_n_min:编辑最小范围

* edit_n_max:编辑最大范围

* Edit Source:编辑资源

* 点击「Edit」按钮,编辑

Extend Tab

功能:在现有音乐的开头或结尾添加音乐片段

* edit seeds (default None):扩散随机种子

* Left Extend Length:指定左侧扩展时长

* Right Extend Length:指定右侧扩展时长

* Extend Source:选择需要扩展的源音频

* 点击「Extend」按钮,扩散

您可能感兴趣的与本文相关的镜像

ACE-Step

ACE-Step

音乐合成
ACE-Step

ACE-Step是由中国团队阶跃星辰(StepFun)与ACE Studio联手打造的开源音乐生成模型。 它拥有3.5B参数量,支持快速高质量生成、强可控性和易于拓展的特点。 最厉害的是,它可以生成多种语言的歌曲,包括但不限于中文、英文、日文等19种语言

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值