22、机器翻译：原理、挑战与范式

机器翻译：原理、挑战与范式

1. 引言

世界上存在着数千种语言，翻译是让一种语言表达的思想在其他语言中得以理解的重要方式。翻译过程需保留源文本的意义（保真度），并确保目标文本的语法正确性、惯用性和语域一致性（流畅性）。机器翻译（MT）则是借助计算机实现的翻译过程，它推动了自然语言处理（NLP）的发展，NLP 推动了人工智能（AI）的进步，而 AI 又促进了计算机科学（CS）的前行。例如，基于规则的机器翻译（RBMT）对源句子分析的需求推动了解析技术的发展；最初为机器翻译开发的神经网络模型 Transformer 也启发了计算机视觉、推荐系统和语音处理等领域的类似架构。

机器翻译本质上是一项多语言活动，涉及源语言和目标语言。因此，它必须处理两种语言的歧义以及它们之间联系的歧义。所有机器翻译方法都会在不同程度上隐式或显式地进行源、转换和目标的消歧。

2. 机器翻译中的歧义消解

2.1 NLP 栈与机器翻译

为了理解机器翻译的复杂性，我们来看 NLP 栈。NLP 栈底层是词法分析，它将单词分解为各个部分，并提取诸如性别、数量、人称和时态等特征。句子由单词组成，单词由词素组成，词素承载着句法和语义信息。词法分析可分为分析型（词素大多独立，如“will go”）和综合型（词素融合，如“jaauMgaa”表示“will go”），中文是分析型语言的例子，而阿拉伯语是综合型语言。在机器翻译中，常常需要跨越语言家族边界，例如中文和阿拉伯语之间的翻译。阿拉伯语词法的一个特点是只保留辅音，需要从上下文解读单词，如辅音串“ktb”可以表示“kutub”（轴或极）或“kitaab”（书）。

词法分析层为词性标注（POS）层提供输入，为句