57、自然语言处理：从机器翻译到话题发现

自然语言处理：从机器翻译到话题发现

1. 蒙古语 - 英语机器翻译研究

在机器翻译领域，神经网络翻译模型正逐渐成为主流。为了更好地理解句子结构和边界，研究人员将依赖关系纳入神经网络翻译模型的搜索中。

1.1 研究方法

研究人员尝试将神经网络结果与考虑单词和句子结构的模型相结合，首次通过改变单词位置提出了重新对齐模型。具体操作步骤如下：
1. 构建双语语料库 ：创建了一个本地的蒙古语 - 英语混合双语语料库，翻译了以下语料：
| 语料库 | 文件大小 | 翻译句子数 |
| — | — | — |
| 联合国平行语料库 | 3.44 gb | 25,173,399 |
| Wikimatrix | 227 mb | 1,661,908 |
| OpenSubtitles | 832 mb | 25,910,106 |
2. 统计指标测量 ：对原始数据（2,402,138 条蒙古语句子）进行统计指标测量，平均单词数为 15.919942984124976，平均字符数为 112.4927664438929，最小行由 2 个字符和 1 个单词组成，最多单词的行由 2149 个单词和 2039369 个索引组成。
3. 模型选择与测试 ：选择两到三种不同的模型，使用相同的 240 万条句子进行训练，并以 95% 的置信水平进行翻译测试。

graph LR
    A[构建双语语料库] --> B[统计指标测