9、机器翻译中Transformer与Sequence-to-Sequence的比较研究

机器翻译中Transformer与Sequence-to-Sequence的比较研究

1. 引言

机器翻译作为自然语言处理领域的重要研究方向，是利用计算机将一种源语言转换为另一种自然语言的过程，属于计算语言学的分支，具有重要的科研价值。

机器翻译的概念最早在20世纪30年代初由法国科学家GB Artsouni提出，苏联科学家Troyansky发明了第一台翻译机，但受当时科技水平限制，翻译机未能真正实现其功能。1946年第一台现代电子计算机ENIAC出现后，美国科学家W. Weaver和英国工程师AD Booth提出自动翻译的想法。1954年，美国乔治城大学与IBM合作，使用IBM - 701计算机首次完成了英俄机器翻译实验。然而，1996年ALPAC委员会的报告否定了机器翻译的可行性，使该研究陷入低谷。随着国家间交流日益密切，语言沟通需求愈发迫切，人工智能在自然语言处理领域的应用让机器翻译研究得以复兴并发展至今。

早期的机器翻译系统主要分为基于规则和基于语料库两类。基于规则的系统存在翻译质量差、系统难以改进、设计繁琐等缺点；基于语料库的系统则过度依赖大规模数据集的支持。2013年，基于人工神经网络的机器翻译在翻译性能上超越了前两者，翻译质量显著提高。

人工神经网络的发展历程如下：
- 1943年，W. S. McCulloch和W. Pitts首次建立神经网络模型。
- 1949年，感知机被提出。
- 1982年，J. J. Hopfield提出Hopfield神经网络模型并引入“计算能量”概念。
- 1984年，提出连续时间下的Hopfield神经网络模型。
- 1985年，Boltzmann模型诞生。