NLP之 NMT 解决语料不足与解码效率

NMT 两大问题

问题描述

• 神经机器翻译模型的参数的训练依赖于平行语料，但是语料匮乏，那如何提高语料的效率？

• 如何提高解码效率？

数据效率的提升

使用第三方语言作为桥接

• 神经机器翻译模型在低资源的情况下，比传统统计翻译模型效率差

• NMT ：两个部分，将源语言翻译成条件语言，在翻译成目标语言

  • 需要两部分解码
  • 若在条件语言发生错误，会导致目标语言也出现问题

• 注：

  • teacher model ： 条件语言 -> 目标 （两者之间有平行语料）
  • student model ： 源-> 目标 (由于没有平行语料，随机初始化)
  • 互相翻译，可知两者的分布一致

• 总结：利用第三方语言来实现零语料的翻译。

利用图片来作为第三方，来实现零语料的翻译

• 有两个问题

  • 使用固定长度对变长的句子，会产生损失
  • 不支持attention

• 目标：

  • 用目标语言句子描述图片
  • training时，计算reward，使预测出来的言语与目标语言相差最小，即reward最大。

• 由于图片有噪音，效率没有使用第三方语言效率好

提升解码