Low-resource Neural Machine Translation

最新推荐文章于 2024-10-04 14:13:43 发布

thormas1996

最新推荐文章于 2024-10-04 14:13:43 发布

阅读量1.8k

点赞数

CC 4.0 BY-SA版权

分类专栏：迁移学习文章标签： Transfer Learning Machine Translation Low-Resource

本文链接：https://blog.youkuaiyun.com/thormas1996/article/details/88681277

本文探讨了低资源环境下机器翻译的问题，通过扩大数据集、中继方法等策略提高翻译效果。介绍了2016至2017年的几篇关键论文，涉及父/子模型、注意力机制和正则化技术，如dropout和L2范数，以应对过拟合和数据不足的挑战。研究表明，结合这些方法可以有效改进低资源神经机器翻译的性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

调研了一下目标领域少数据的机器翻译问题，持续更新中

Low-Resource MT
指在source domain有大量数据，而target domain数据很少，希望能迁移一些知识来提高target domain翻译的效果。

Low-Resource 常用作法

Related Work

2016 Transfer Learning for Low-Resource Neural Machine Translation
第一个将transfer方法用于MT任务，low resource的setting，希望促进少数据一方的翻译效果
Parent/child model 将large corpus训练的模型参数作为small corpus的初始参数，将认为与需要迁移知识相关的参数维持不变，比如说一方是英法，一方是英德，翻译英语的encoder就保持不变，即英语embedding保持不变，只训练后半decoder
2017 Low-Resource Neural Machine Translation with Transfer Learning
这篇似乎没有正式发表，没有找到相关的记录
Transfer方法基本follow上一篇文章，不同之处在于source和target domain不太一样，所以只迁移参数，encoder参数需要继续训练。
还有一个是为了解决比训练集数据更长句子的问题，使用了attention机制。
2017 Regularization techniques for fine-tuning in neural machine t