31、利用多词表达式提升法律语句统计机器翻译质量-优快云博客

本文链接：https://blog.youkuaiyun.com/gitlab7runner/article/details/149524526

利用多词表达式提升法律语句统计机器翻译质量

在统计机器翻译（SMT）领域，多词表达式（MWE）的有效利用对于提升翻译质量至关重要。传统的MWE提取和翻译方法存在一定局限性，因此，我们提出了一种基于Dice系数的新方法，旨在更准确地获取MWE的翻译，并将其集成到SMT系统中。

1. 基于Dice系数的MWE翻译方法

传统的Tsvetkov等人的方法在提取MWE翻译时存在问题。该方法从对齐中提取候选MWE的翻译，针对源语言句子中的每个MWE，考虑目标语言句子中与MWE成分对齐的所有单词的翻译，只要它们形成连续字符串。然而，由于候选基于错误对齐，翻译质量不可靠，且会移除超过四个单词的翻译，同时也未展示对翻译候选进行排序的策略。

为了解决这些问题，我们引入了基于Dice系数的单词对齐方法来获取MWE的翻译。Dice系数用于衡量两个术语之间的相似度，其计算公式如下：
[Dice(x, y) = \frac{2 \cdot freq(x, y)}{freq(x) + freq(y)} (0 \leq Dice(x, y) \leq 1)]
其中，(freq(x))和(freq(y))分别表示术语(x)在源句子和术语(y)在目标句子中的出现次数，(freq(x, y))表示(x)和(y)在对齐句子中的共现次数。

在我们的方法中，将(x)作为源语言MWE的候选，计算其Dice系数，以确定目标语言句子中由一个或多个单词组成的最高(y)作为(x)的翻译等价物。然后收集不包含等价物的剩余句子，若Dice系数值超过阈值，则重复计算以获取一个MWE的多个翻译等价物。