这首歌,竟然是AI生成的,太狠了...

music-source-separation-master.zip_oem_python深度学习_source separat 基于深度学习的唱声分离,可以将带有配乐的音乐分离出背景与唱声。 立即下载

1845d3b0e843c0c58babfdfd41e9b27c.png

参考整理自:机器之心 量子位

大家好,

我写过很多关于视觉的算法,一直有小伙伴问我,关于音频的,有没有一些好玩的项目。

今天给大家介绍两个算法。

Music Source Separation

老粉应该看我介绍过这个算法,一首歌曲,可以使用算法分离人声和伴奏。

比如《Stay》,原声是这样的:

伴奏和人声就轻松分离,大家听听效果:

人声颇有种在空旷地带清唱的清晰感,背景乐都能直接拿去做混剪了!

6565d319758d4398cc1bade4d204d215.png

神器,福音啊!

这样惊人的效果也引发了 Reddit 热议:

ff618b8ba2f7fa84ff2fd8743a7a3d7b.png

这项研究的主要负责人孔秋强来自字节跳动,全球最大的古典钢琴数据集GiantMIDI-Piano,也是由他在去年牵头发布的。

AI 音乐家实锤,可以看下官方的演示效果。

算法已经开源,有编程基础的可以直接跑代码。

项目地址:

https://github.com/bytedance/music_source_separation

没有编程基础也没关系,项目提供了在线可玩的网页。

试玩网页:

https://huggingface.co/spaces/akhaliq/Music_Source_Separation

算法原理可以看我之前写过的文章:

好家伙,AI音乐家火了。。

GenéLive

上面介绍的算法是去年的作品,咱再介绍一个今年的新作 GenéLive。

知名偶像企划 LoveLive,不知道各位知道不?他们发了一篇 AI 论文。

生成模型自动写曲谱,音乐谱子交给 AI 写了~

最近,预印版论文平台 arXiv 上的一篇论文引起了人们的注意,其作者来自游戏开发商 KLab 和九州大学。他们提出了一种给偶像歌曲自动写谱的模型,更重要的是,作者表示这种方法其实已经应用过很长一段时间了。

由于 LoveLive!是一个有 12 年历史的企划,包含四个团体和数个小团体,个人还有角色歌,很多歌曲都会在游戏中出现,设计对应的乐谱变成了一件极具挑战的工作。

e155115bbe978ae8f6fdb43c6d630181.png

随便一搜,就是上千首的歌曲,说不定你听过的某一首歌,就是用 AI 写的乐谱。

通过深度学习技术,AI 算法在图像分类,语音识别等任务上有了优异的表现,但在理解复杂、非结构化数据方面,机器学习面临的挑战更大,比如理解音频,视频,文本内容,以及它们产生的机制。物理学家费曼曾说过:「凡是我不能亲自创造出来的,我就不是真正理解。」

而随着技术的发展,深度生成模型已在学界和业界获得了广泛应用。在如今的游戏开发过程中,生成模型正在帮助我们构建各种内容,包括图形、声音、角色动作、对话、场景和关卡设计。

KLab 等机构提交的论文介绍了自己的节奏动作游戏生成模型。KLab Inc 是一家智能手机游戏开发商。该公司在线运营的节奏动作游戏包括《Love Live!学院偶像季:群星闪耀》(简称 LLAS)已以 6 种语言在全球发行,获得了上千万用户。已经有一系列具有类似影响的类似游戏,这使得该工作与大量玩家密切相关。

在 LLAS 中,开发者面临的挑战是为不同歌曲生成乐谱,提示玩家在不同时机点击或拉拽按键,这是节奏音乐游戏中所定义的挑战。在一局游戏中,飘过来的按钮被称为音符,它们形成类似于乐谱的空间图案,与后台播放的歌曲节奏对应。一首歌曲存在不同的难度模式,从初级、中级、高级和专家到挑战,复杂度顺序递增。

4a353c10b66ea71bc23769ebb6cf56c3.gif

游戏开发者表示,他们的做法是通过 AI 辅助的半自动化方式:先由 AI 生成乐谱,再由 KLab 的艺术家进行微调,另一种方式是 AI 生成低难度乐谱,游戏设计师在这个基础上设计高难度。

KLab 表示,他们使用的 GenéLive! 模型成功地降低了一半业务成本,该模型已部署在公司日常的业务运营中,并在可预见的未来时间里持续应用。

降低乐谱生成的成本对于在线音游开发者来说是一个重要挑战,因为它是日常运营的瓶颈。KLab 提出的方法实现了只需要音频,就可以直接生成乐谱。

在研究过程中,开发者们首先提出了 Dance Dance Convolution (DDC) ,生成了具有人类高水平的,较高难度游戏模式的乐谱,但低难度反而效果不好。随后研究者们通过改进数据集和多尺度 conv-stack 架构,成功捕捉了乐谱中四分音符之间的时间依赖性以及八分音符和提示节拍的位置,它们是音游中放置按键的较好时机。

DDC 由两个子模型组成:onset(生成音符的时机)和 sym(决定音符类型,如轻按或滑动)

目前正在使用的 AI 模型在所有难度的曲谱上都获得了很好的效果,研究人员还展望了该技术扩展到其他领域的可能性。

a523048e8ace2c0a6c319ac56be5006a.png

论文链接:

https://arxiv.org/abs/2202.12823

KLab 应用深度生成模型来合成乐谱,并改进乐谱的制作流程,将业务成本降低了一半。该研究阐明了如何通过专门用于节奏动作的多尺度新模型 GenéLive!,借助节拍等来克服挑战,并使用 KLab 的生产数据集和开放数据集进行了评估。

方法

此前,KLab 乐谱的生成工作流是在不考虑自动化的情况下形成的,几乎没有达成明确的规则或数学优化目标。因此,该研究选择使用监督机器学习。到 2019 年底,KLab 已经发布了数百首歌曲的音频序列和相应的人工生成乐谱。

一方面,这个项目被要求快速交付并起到协助的作用;另一方面,项目的目标具有挑战性,旨在改进 SOTA 深度生成模型。通常,研究新型神经网络架构需要大量的反复试验,这个过程需要六个月或更长时间。

为了解决时间上的问题,该研究组织了一个模型开发团队和一个模型服务团队,通过与艺术家团队保持联系获得反馈,将其反映到模型开发和服务中,并在第一时间提供更新的模型,从而使他们保持一致。

GenéLive! 的基础模型由卷积神经网络 CNN 层和长短期记忆网络 LSTM 层组成。对于频域中的信号,作者利用 CNN 层来捕获频率特征,对于时域利用 LSTM 层来完成任务。

654bd6928cd4edbb30a53f1bf519508f.png

在这里,卷积堆栈(conv-stack)的主要任务是使用 CNN 层从 mel 频谱图中提取特征。conv-stack 包括一个具有批量标准化的标准 CNN 层、一个最大池化层和一个 dropout 层,激活函数是 ReLU。最后为了规范输出,这里使用了全连接层。

时域方面采用了 BiLSTM,提供前一个 conv-stack 的输出作为输入。为了实现不同的难度模式,作者将难度编码为一个标量(初级是 10,中级是 20,以此类推)并将这个值作为新特征附加到 convstack 的输出中。

c3fc24ef0590609e1b8fc4753e15718c.png

在训练数据方面,GenéLive! 使用了几百首早期的 LLAS 歌曲,《歌之王子殿下》的歌曲,以及音乐游戏引擎「Stepmania」中可公开访问的音乐和乐谱。

模型开发

该模型是由 KLab 和九州大学合作完成的。两个团队之间需要一个基于 Web 的协作平台来共享源代码、数据集、模型和实验等。具体来说,该研究用于模型开发的系统架构如下图所示。

14e6defd05edf12d74a904190e1c85a0.png

模型服务

为了使乐谱生成程序可供艺术家按需使用,它应该方便艺术家自行使用而无需 AI 工程师的帮助。并且由于该程序需要高端 GPU,将其安装在艺术家的本地计算机上并不是一个合适的选择。该模型服务系统架构如下图所示。

10518a4aeed6fddf87c1ed8e87522d9d.png

实验结果

为了度量该方法中每个组件的性能,研究者在「Love Live! All Stars」数据集上进行了消融实验。

下表 3 的结果表明 GenéLive! 模型优于此前的 SOTA 模型 DDC。

42188a3b0fc9ce587a4786d2f446333d.png

为了评估节拍指导的作用,消融实验的结果如下图 9 所示。

3b11e76cb15bc1477d686f0599f9786a.png

使用未修改版 conv-stack 训练模型和当前 GenéLive! 模型的结果差异如下图所示。

0b5ec42911a808d3f0cfcd61ba021059.png

GenéLive! 模型一次性训练全部难度模式,为了查看这种训练方式的优势。该研究将其与每种难度模式单独训练的结果进行了比较,结果如下图所示。

1de122339c44c659b8169f00281d0049.png

LoveLive! 企划的活动范围包括动漫、游戏和真人偶像团体。音乐游戏《Love Live! School Idol Festival》自 2013 年开始运营,截至 2019 年 9 月在日本拥有超过 2500 万用户。新一代的游戏《Love Live! School Idol Festival All Stars》目前在全球已有上千万用户。

GenéLive! 的研究,说不定也能让音游在 AI 领域里火起来。

推荐阅读:
入门: 最全的零基础学Python的问题  | 零基础学了8个月的Python  | 实战项目 |学Python就是这条捷径
干货:爬取豆瓣短评,电影《后来的我们》 | 38年NBA最佳球员分析 |   从万众期待到口碑扑街!唐探3令人失望  | 笑看新倚天屠龙记 | 灯谜答题王 |用Python做个海量小姐姐素描图 |碟中谍这么火,我用机器学习做个迷你推荐系统电影
趣味:弹球游戏  | 九宫格  | 漂亮的花 | 两百行Python《天天酷跑》游戏!
AI: 会做诗的机器人 | 给图片上色 | 预测收入 | 碟中谍这么火,我用机器学习做个迷你推荐系统电影
小工具: Pdf转Word,轻松搞定表格和水印! | 一键把html网页保存为pdf!|  再见PDF提取收费! | 用90行代码打造最强PDF转换器,word、PPT、excel、markdown、html一键转换 | 制作一款钉钉低价机票提示器! |60行代码做了一个语音壁纸切换器天天看小姐姐!|

年度爆款文案

点阅读原文,看B站22个原创视频!

StepMania凯仕达跳舞毯通用驱动程序 v3.9 官方版 凯仕达跳舞毯专用的驱动程序,可以电脑和电视通用。也叫凯仕达10键跳舞毯应用程序StepMania3.9,这是一款非常经典的跳舞毯软件。驱动特色:主要集健身、娱乐、休闲与一体,跳舞毯基本相当于原地慢跑,消耗热量半小时在225大卡左右。下载歌曲方法:你下载下来的歌曲包,欢迎下载体验 立即下载

相关推荐

基于freesurfer和3Dslicer的脑区分割与电极定位全流程解析(实战指南)

本文提供了一套基于FreeSurfer和3D Slicer的颅内电极定位实战指南。详细解析了从环境搭建、数据预处理、FreeSurfer脑区分割、影像配准,到3D Slicer中手动与自动化电极定位的全流程。重点介绍了如何利用FreeSurfer进行高精度脑区分割,并在3D Slicer中实现电极触点的可视化标记与坐标提取,最终获得带脑区信息的电极数据,为iEEG/SEEG研究奠定基础。

banana的博客 300

根据歌曲(mp3/wav)的旋律生成它的简谱(粗略大致)

 根据歌曲(mp3/wav)的旋律生成它的简谱(粗略大致)现在有一个网站(www.midomi.com)是可以根据你哼的歌声搜索对应的歌曲的mp3不过,我是更希望:有一个公司能不停地用这个功能为所有mp3打上旋律码,每首歌有自己的旋律码普通人想为自己的mp3找到正确的歌名,只要用这个公司的工具计算一下这个mp3的旋律码,传到这个公司的服务器,服务程序自动查找庞大的旋律码-歌名对照库,告诉你它是什么

haitao@深圳 2万+

【实战】——零代码玩转Supervisely人像分割:从标注到模型训练的数据流水线搭建

本文详细介绍了如何零代码使用Supervisely平台搭建人像分割数据流水线,从智能标注到数据集格式转换,再到模型训练与优化。Supervisely的智能标注工具和协作功能大幅提升了人像分割项目的效率,特别适合视频会议背景虚化、虚拟试衣等应用场景。

weixin_30694389的博客 417

stepmania谱面下载、安装、转谱,音游相关 osu etterna

stepmania模拟器、etterna StepMania is a free dance and rhythm game for Windows, Mac, and Linux. It features 3D graphics, keyboard and "dance pad" support, and an editor for creating your own steps. 一、...

我从小酷到大的 5988

Cadence IC618与Spectre231安装配置全攻略:License、环境变量与依赖检查

EDA工具部署中,License管理与环境变量隔离是核心难点。FlexLM作为通用授权机制,通过守护进程和端口配置实现工具授权;环境变量则控制工具路径与库加载顺序,避免版本冲突。合理配置可确保IC618与Spectre231稳定运行,提升仿真效率。典型应用场景包括模拟IC设计、高校实验室及企业级EDA环境。本文聚焦Cadence IC618与Spectre231的安装实践,详解License配置、环境隔离及依赖检查,助你快速搭建可靠设计环境。

weixin_28721917的博客 334

WinCC与PLC在西门子逻辑赛项中的通信配置避坑指南

本文针对西门子逻辑赛项中WinCC与PLC通信配置的常见问题,提供了一套实战避坑指南。重点解析了WinCC、PLC与EET仿真平台的三角通信架构,强调了IP地址规划、防火墙设置等关键环节的注意事项,并给出了系统化的故障诊断流程与排查技巧,帮助选手和技术人员快速定位并解决通信故障,确保监控系统稳定运行。

weixin_29165725的博客 109

LoveLive!出了一篇AI论文:生成模型自动写曲谱

视学算法报道编辑:泽南、小舟我们终于知道那些折磨人的乐谱是怎么来的了 —— 都是 AI 生成的。知名偶像企划 LoveLive! 发 AI 论文了,是的没错。最近,预印版论文平台 arXi...

zandaoguang的博客 707

ESP32 开发实战:VS Code 头文件波浪线及编译错误的终极解决方案

本文针对ESP32开发者在VS Code中常见的头文件红色波浪线和fatal error编译错误,提供了终极解决方案。通过详细讲解如何配置c_cpp_properties.json文件来修复编辑器智能提示,以及如何修改CMakeLists.txt来修正编译器路径,帮助开发者彻底解决环境配置问题,提升开发效率。

prometheus9mon的博客 294

音乐波谱生成

实现从简谱生成音频文件

qq_42250782的博客 782

告别迷茫!用ETAS RTA-OS配置你的第一个AUTOSAR OS任务(含VRTA虚拟ECU实战)

本文详细介绍了如何使用ETAS RTA-OS工具链在VRTA虚拟ECU上配置和运行第一个AUTOSAR OS任务。通过从XML配置到任务调度的全流程实战,帮助开发者快速掌握嵌入式操作系统开发的核心步骤,特别适合刚接触AUTOSAR的开发者快速上手。

weixin_42533622的博客 421

基于 Google Colab 的 mask rcnn 训练自己的数据集(以实例分割为例)

详细步骤1 数据集的制作1.1 数据标注1.2 生成数据集2 环境的搭建2.1 搭建流程2.2 注意事项(报错)3 开始训练4 可视化4.1 修改webcam.py文件4.2 进行可视化5 参考文章 1 数据集的制作 1.1 数据标注 使用 labelme=4.5.6 版本进行标注,标注文件指定到保存图片的路径下,也就是json文件和jpg文件放在同一个文件夹里 1.2 生成数据集 先手动划分训练集和测试集(包括图像和标注文件),然后分别整合它们的标注信息,参考代码:1_ships_to_coco.py

G果的博客 8002

不会写论文大纲怎么办?2026 这 5 款 AI 写作平台,一键生成目录,太狠了

2026 年写大纲,真的没必要死磕!这 5 款 AI 写作平台,从免费入门到专业定制,从文科通用到理工专属,全覆盖无短板。不管你是本科小白、研究生大佬,还是在职打工人,都能找到适配的工具,一键生成合规目录 + 三级大纲,省下 80% 的时间和精力,轻松搞定论文框架!

paperred的博客 468

【Unity 城市建模插件】POLY-Megapolis City Pack 提供超过数百种城市建筑、道路、车辆与城市家具模型,完美适用于构建现代化城市、模拟城市游戏、都市题材冒险类游戏和开放世界项目

POLY - Megapolis City Pack 是一套风格统一、内容丰富的低多边形城市建模资源包,专为 Unity 引擎设计。该资源包提供超过数百种城市建筑、道路、车辆与城市家具模型,完美适用于构建现代化城市、模拟城市游戏、都市题材冒险类游戏和开放世界项目。无论是快速原型开发还是正式发布项目,POLY 系列都能提供高效、风格统一的解决方案。

2403_88403568的博客 635

10分钟100张,如何用AI批量生成小红书素材,快速起号?红鸦AI,一句话自动生成爆款图文,太狠了...

你敢信!!只需一句话,AI自动生成整套小红书风格的图文!

ai909297的博客 684

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

知网AI检测太狠了?实测6招教你轻松过关!

2025年2月13日,知网甩出大招——第三代AI检测系统。这套系统有多强?它能揪出98.6%的AI生成内容!小红书直接炸锅,满屏都是“救命,我的论文AI率99%”的哀嚎。AI检测到底查什么?简单说,知网主要盯三点:句子结构、用词习惯、逻辑连贯性。AI写的东西,句子容易又长又绕,用词翻来覆去就那么几个。逻辑嘛,可能前言不搭后语。比如AI爱用“首先、其次、最后”,但真人写论文,更习惯从案例切入,再倒推背景。别慌!亲测有效的6招救命技巧 我试了12种方法,挖到6个能打的。照着做,AI率蹭蹭往下掉!

huayishuo的博客 1362

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

AI检测查得太狠了!幸好我发现了这几个工具

论文查重越来越严格,AI检测算法全面升级,很多同学一查AI率就爆表。别慌,我实测了12款降AI工具(包括嘎嘎降AI、AIGCleaner等),帮你一键降低AI率、让AI写的内容更像“人写的”,轻松通过知网、Turnitin、GPTZero 等平台检测。

aigccleaner的博客 998

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

粉丝可通过投票影响ACE-Step生成偶像下一首歌风格

ACE-Step是由ACE Studio与阶跃星辰联合推出的开源AI音乐生成模型,基于扩散模型架构,支持文本与旋律条件输入,实现高质量、高效率、强可控的音乐生成。通过粉丝投票聚合关键词,系统可快速生成符合大众偏好的歌曲草稿,推动音乐创作进入实时共创时代。

weixin_29363791的博客 971

一句话生成技术图,这 3 个 GitHub Skill 太狠了

如果你做方案,要的是一张别人打开就能看的架构图,优先用 architecture-diagram-generator。你用 architecture-diagram-generator 去画复杂 UML,工具定位就不对。fireworks-tech-graph 提供了多种视觉风格,比如暗黑终端风、科技线稿风、手绘风。如果你写文章,要的是一张马上能发布的图,优先用 fireworks-tech-graph。你打开 draw.io,先拖一个网关,再拖几个服务,再补数据库、缓存、消息队列。

root 718

论文AI检测太狠了?别慌,这几款工具太顶了

论文查重越来越严格,AI检测算法全面升级,很多同学一查AI率就爆表。别慌,我实测了12款降AI工具(包括嘎嘎降AI、AIGCleaner等),帮你一键降低AI率、让AI写的内容更像“人写的”,轻松通过知网、Turnitin、GPTZero 等平台检测。

aigccleaner的博客 384

AI配音 | 免费!这5个文字转语音工具太狠了,一键生成短视频爆款配音

本文介绍了五款免费的AI配音工具,帮助用户将文字转换为自然流畅的语音。这些工具包括ChatTTS、TextToSpeech、通义听悟、TTSMAKER和文字转语音助手。每款工具都提供了详细的使用教程,可以根据需求选择适合的工具进行文本转语音操作,生成的音频文件可下载并用于不同用途。这些工具不仅功能强大,而且操作简便,是制作高质量语音内容的理想选择。

JxyyzAI的博客 1万+

替代 Suno?国产 Mureka V7 的音乐大模型太狠了

所以,你看,从 V7 音质的大幅提升,到自定义音色功能,再到全新的 Text-To-Speech 功能,还有之前的智能音乐参考系统,结合它又是全球首个开放 API服务的 AI 音乐生成平台。这就是为什么我说只要底层技术跟得上,硅谷的公司都无法与我们国内的公司相媲美,因为我们国内的公司在做产品的人性化体验和功能的丰富度角度来讲,真的是太贴心了,Mureka 这次 V7 版本的发布,不仅技术能力强大了,功能也越来越贴心和人性化了。最后,我想说,AI 是一种平权工具,它赋予了我们普通人更多的能力。

非著名程序员 1181

这个免费AI工具太狠了:我每周省下10小时学习时间

如果你经常觉得自己学得慢,不一定是能力问题。很多时候,只是你的学习流程太重了。资料太多,入口太乱,准备成本太高,最后真正留给理解和复习的时间反而不多。NotebookLM的价值,不在于它比别的 AI 更会聊天。而在于它让学习这件事,终于围绕你的资料、你的重点和你的节奏展开。更聚焦,也更省力。如果你手上正好有一堆想读但一直没时间读完的材料,不妨拿一组主题试一次。你可能会第一次感觉到:原来高效学习,不一定要靠更拼命,也可以靠更聪明的流程。

全网120W+关注AI拉呱,专注人工智能以及科技前沿! 459

知网新版AIGC检测太狠了?手把手教你应对

很多同学查重过了,却卡在“AI率过高”。本文总结了常见无效的降AI方法,并提供更可行的策略:理解检测算法、加入人类写作痕迹、配合专业降AI工具等。通过这些方法,论文能在不破坏内容逻辑的情况下有效降低AI率,让最终版本顺利通过检测。

aigccleaner的博客 837

AI工作流:3分钟搞定公众号排版,这招太狠了

格式、图片、重点加粗……这一通折腾下来,头都快昏眼花了,时间也耗个精光。我最受不了这种低产出还得重复干的活儿。拿这篇排版文稿来说事儿,字体、段落、配图,看着还不错吧?但从头到尾,我就花了不到三分钟。怎么做到的?接着往下看。

m0_59163425的博客 6672

救命,轻流这次更新太狠了!AI 自定义页面 + AI 文档解析,工作效率翻 10 倍

传统的开发模式,需求排队久,改动成本还高。实际上,业务人员最清楚自己想要什么样的交互。AI自定义页面,核心就是告别代码,对话即成:不用懂编程,不用学配置,一句话描述需求,AI分分钟生成可预览、可发布的专业页面。除了 AI 自定义页面和文档解析这两个大招,我们还针对实际业务中的各种别扭之处,优化了一系列实用功能:邮箱处理待办:外部合作方没账号也能办业务。点击邮件链接、输入验证码就能审批或填表,非常适合临时性的业务协作。视图查询条件:支持设置“查询后才显示内容”。

qq_42738998的博客 841
上一篇: 干货!一份详实的 Scrapy 爬虫教程,值得收藏!
下一篇: 在央企当程序员是一种怎样的体验?
菜鸟学Python
博客等级 码龄9年 8092粉丝 571原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值