Aligning Music Generation to Human Preferences

UnknownBody

已于 2024-11-07 10:14:06 修改

阅读量455

点赞数 9

CC 4.0 BY-SA版权

文章标签：语言模型人工智能

于 2024-02-19 15:08:52 首次发布

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/136170429

LLM 日更专栏收录该内容

828 篇文章

已下架不支持订阅

MusicRL是首个基于人类反馈微调的音乐生成系统，使用强化学习优化预训练的MusicLM模型，以提升文本到音乐转换的符合度和音频质量。通过收集大量用户反馈，MusicRL在音乐生成的文本依从性和质量方面表现出显著提升，证明了整合用户反馈在改进音乐生成模型中的重要性。

本文是LLM系列文章，针对《MusicRL: Aligning Music Generation to Human Preferences》的翻译。

摘要

我们提出了MusicRL，这是第一个根据人类反馈进行微调的音乐生成系统。对文本到音乐模型的欣赏是特别主观的，因为音乐性的概念以及字幕背后的具体意图取决于用户（例如，“欢快的锻炼音乐”等字幕可以映射到复古吉他独奏或技术流行节拍）。这不仅使此类模型的监督训练具有挑战性，而且还要求将持续的人类反馈集成到部署后的微调中。MusicRL是一个预训练的自回归MusicLM模型，该模型通过强化学习进行微调，以最大化序列级奖励。在选定评分者的帮助下，我们设计了专门与文本依从性和音频质量相关的奖励功能，并使用这些功能将MusicLM微调为MusicRL-R。我们向用户部署MusicLM，并收集了包括300000个成对偏好的大量数据集。使用来自人类反馈的强化学习（RLHF），我们训练MusicRL-U，这是第一个在一定范围内结合人类反馈的文本到音乐模型。人体评估显示，MusicRL-R和MusicRL-U都优于基线。最终，MusicRL-RU结合了这两种方法，并根据人工评分得出了最佳模型。消融研究揭示了影响人类偏好的音乐属性，表明文本依从性和质量只是其中的一部分。这突出了音乐欣赏中主观性的普遍性，并呼吁人类听众进一步参与音乐生成模型的微调。样本可以在https://google-research.github.io/seanet/musiclm/rlhf/上找到。