MusicRL: Aligning Music Generation to Human Preferences

本文是LLM系列文章，针对《MusicRL: Aligning Music Generation to Human Preferences》的翻译。

摘要

我们提出了MusicRL，这是第一个根据人类反馈进行微调的音乐生成系统。对文本到音乐模型的欣赏是特别主观的，因为音乐性的概念以及字幕背后的具体意图取决于用户（例如，“欢快的锻炼音乐”等字幕可以映射到复古吉他独奏或技术流行节拍）。这不仅使此类模型的监督训练具有挑战性，而且还要求将持续的人类反馈集成到部署后的微调中。MusicRL是一个预训练的自回归MusicLM模型，该模型通过强化学习进行微调，以最大化序列级奖励。在选定评分者的帮助下，我们设计了专门与文本依从性和音频质量相关的奖励功能，并使用这些功能将MusicLM微调为MusicRL-R。我们向用户部署MusicLM，并收集了包括300000个成对偏好的大量数据集。使用来自人类反馈的强化学习（RLHF），我们训练MusicRL-U，这是第一个在一定范围内结合人类反馈的文本到音乐模型。人体评估显示，MusicRL-R和MusicRL-U都优于基线。最终，MusicRL-RU结合了这两种方法，并根据人工评分得出了最佳模型。消融研究揭示了影响人类偏好的音乐属性，表明文本依从性和质量只是其中的一部分。这突出了音乐欣赏中主观性的普遍性，并呼吁人类听众进一步参与音乐生成模型的微调。样本可