Saisimon`s blog

自动音乐转录（AMT），从原始音频推断音符，是音乐理解核心的一项具有挑战性的任务。与通常关注单个人声的自动语音识别（ASR）不同，AMT 通常需要同时转录多个乐器，同时保留精细的音高和时间信息。此外，许多 AMT 数据集是“资源不足的”，因为即使是专业音乐家也发现音乐转录既困难又耗时。因此，先前的工作集中在特定任务架构上，为每个任务的各个乐器量身定制。

近年来，自动音乐转录通过在大型数据集上训练自定义深度神经网络取得了重大进展。然而这些模型需要对网络架构、输入/输出表示和复杂的解码方案进行特定领域的设计。在这项工作中，我们展示了使用具有标准解码方法的通用编码器解码器 Transformer 可以实现相同的性能。我们展示了该模型可以学习将频谱图输入直接转换为类 MIDI （MIDI-like）的输出，以用于多个转录任务。这种序列到序列的方法通过联合建模音频特征和类语言（language-like）的输出依赖关系来简化转录，从而消除对特定任务架构的需求。...