MusicGen模型基于Transformer结构，可以分解为三个不同的阶段:
用户输入的文本描述作为输入传递给一个固定的文本编码器模型，以获得一系列隐形状态表示。
训练MusicGen解码器来预测离散的隐形状态音频token。
对这些音频token使用音频压缩模型（如EnCodec）进行解码，以恢复音频波形。
MusicGen直接使用谷歌的t5-base及其权重作为文本编码器模型，并使用EnCodec 32kHz及其权重作为音频压缩模型。MusicGen解码器是一个语言模型架构，针对音乐生成任务从零开始进行训练。
MusicGen能帮你做出新歌哦！它有俩模式：贪心和采样。采样模式做出来的音乐更好听，所以我们一般都用这个。用的时候记得设置do_sample=True。
如果你想随便生成点啥，可以用.get_unconditional_inputs搞个随机起点，再用.generate做歌，也别忘了设do_sample=True
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
