24、统计机器翻译中的短语与因子方法解析

统计机器翻译中的短语与因子方法解析

1. 基于短语的统计机器翻译（PBSMT）

在进行语言翻译时，传统的逐词翻译方法虽简单，但需借助字典将源语言单词映射到目标语言。不过，有诸多原因表明应采用长于单词的文本单元进行翻译。IBM 对齐模型存在诸多不直观的假设，导致建模和处理过程混乱。而允许词组对齐可使建模更简单。

1.1 短语对齐的必要性及过程

短语对齐过程如下：
1. 双向运行 IBM 模型 3（源语言到目标语言以及目标语言到源语言），创建对齐集，每个方向各有一个对齐集。
2. 应用对称化过程以获得短语对齐。

此过程本质上是合并相邻元素。在对齐的表格表示中，这相当于沿对角线扩展单词串并对齐这些串。

例如，对于英语到印地语的对齐：
- 对齐集 A1: { , , }
- 对齐集 A2: { , < ke, of>, < log, people>}

通过 grow - diag 算法可创建新的对齐，如 “People of → ke log”、“of Mumbai → mumbai ke”、“People of Mumbai → mumbai ke log”。其中，“of Mumbai → mumbai ke” 和 “People of Mumbai → mumbai ke log” 是“语言短语”，因为有语法规则支配其形成；而 “People of → ke log” 不是语言短语。英语是中心词在前的语言，介词短语的第一个词应为介词；印地语是中心词在后的语言，短语的中心词应是最后一个词。

空对齐的情况也很有趣。英语中的冠词 “the” 在