AI 生成的歌曲听起来怎么样？[OpenAI Jukebox]

Jukebox：开创音乐生成的新纪元

Jukebox是由OpenAI于2020年4月30日发布的音乐生成模型，它能够根据艺术家和流派生成音乐，从嘻哈到乡村音乐无所不包。

Jukebox最令人惊叹之处在于它能够学习艺术家的风格和唱腔，这在之前从未如此出色地实现过。它使用三种独立的VQVAE和稀疏Transformer模型来实现这一点。

VQVAE是一种自动编码器，它接收原始音频并将其重建。每个层级都关注不同的细节，并专注于重建音频的不同方面。底层专注于音乐和声音清晰度，在短时间范围内提供高质量的音频。中间层关注歌曲的短期一致性，例如句子或副歌，但质量略有损失。顶层解码成最低质量，但包含高级语义，例如演唱和旋律。这使得生成的歌曲能够学习原始歌曲的长期模式和结构。

这三个层级涵盖了生成音乐作品所需的所有方面。然后，模型使用稀疏Transformer对每个层级进行采样，将它们组合在一起，从而产生更具考虑性的音乐生成。

最初，歌词带来了挑战。AI不知道歌词应该放置在歌曲中的哪个位置，随机生成歌词就像随机将字幕添加到电影中。然而，Jukebox通过训练一个编码器来将歌词与歌曲对齐，克服了这个问题。编码器越清晰，AI就越确定歌词在特定时间段内存在。这还扩展到Jukebox AI中包含一个歌词生成模型，它可以生成歌词并将其与没有歌词的歌曲结合，从而创建具有新歌词的相同歌曲，这非常令人着迷。

除了生成新的歌词，Jukebox还具有两种其他功能。一种是重新演绎，AI可以生成完全不同的乐器或音乐，但保留了训练过的歌曲的相同歌词。另一种功能称为完成，它可以根据原始歌曲的前12秒完成歌曲。

虽然Jukebox令人惊叹，但它仍然无法与人类创作的歌曲相媲美。它仍然有很大的进步空间。

这台点唱机并不完美，但它令人惊叹，因为它在某些情况下表现非常出色。有好的结果，也有不好的结果，正如灭霸曾经说过的那样，完美平衡，就像所有事物都应该那样。