SeamlessM4T—Massively Multilingual & Multimodal Machine Translation

本文是LLM系列的文章，针对《SeamlessM4T—Massively Multilingual & Multimodal Machine Translation》的翻译。

摘要

如何创建Babel Fish，一个可以帮助个人在任何两种语言之间翻译语音的工具？虽然最近在基于文本的模型方面的突破已经将机器翻译的覆盖范围推到了200多种语言之外，但统一的语音到语音翻译模型尚未取得类似的进展。更具体地说，传统的语音到语音翻译系统依赖于由多个子系统组成的级联系统来逐步执行翻译，这使得可扩展和高性能的统一语音翻译系统遥不可及。为了解决这些差距，我们推出了SeamlessM4T——大规模多语言和多模态机器翻译——一个单一的模型，支持多达100种语言的语音到语音翻译、语音到文本翻译、文本到语音翻译和自动语音识别。为了构建这一点，我们使用了100万小时的开放式语音音频数据来学习w2v-BERT 2.0的自监督语音表示。随后，我们创建了一个多模态的自动对齐语音翻译语料库，名为SeamlessAlign。经过过滤并结合人工标记和伪标记数据（总计406000小时），我们开发了第一个能够将语音和文本从英语翻译成英语的多语言系统。在Fleurs上，SeamlessM4T为翻译成多种目标语言设定了一个新的标准，在直接语音到文本翻译方面比以前的最先进技术提高了20%的BLEU。与强级联模型相比，SeamlessM4T在语音到文本中提高了1.3个BLEU点，在语音到语音中提高了2.6个ASR-BLEU点。在CVSS上，与用于语音转换的两级级联模型相比，Seamless M4T Large的性能增强了58%。对语音到文本翻译输出的初步人类评估显示出同样令人印象深刻的结果；对于英语翻译，24种评估语言的XSTS分数始终高于4（满分5）。对于英语方向，我们发现在24种语言中有7种语言比WhisperLarge-v2的基线有了显著改进。为了进一步评估我们的系统，我们开发了Blaser 2.0，在质量估计方面