wwx123521的博客

背景：现有的神经机器翻译系统没有明确地模拟已经翻译的内容以及在解码阶段期间没有翻译的内容。思路：将源信息分成两部分：翻译的PAST内容和未翻译的FUTURE内容，它们由两个额外循环层建模。 PAST和FUTURE内容被馈送到注意模型和解码器状态，这为神经机器翻译系统提供了翻译和未翻译内容的知识。Past层从头开始并累积在每个解码步正在翻译的信息，对应着源内容已经被翻译的部分Futu...

背景：普通的NMT模型是序列模型，缺少有效捕捉单词间非序列依赖的能力，不能捕捉语言的结构成分。在普通的NMT解码时，只使用前一时刻的隐藏层状态，前一时刻的输出单词和上下文向量，这样会导致decoder更偏向最近的历史。思路：本篇论文提出自注意残差解码，不再只使用前一时刻的输出单词，而是要考虑之前所有的输出历史单词，第一种方法是对所有的输出单词求平均值，第二种是相当于求一个目标端的上下文向量，对...

问题：基于文档水平的翻译。尽管神经机器翻译具有灵活性，但大多数神经机器翻译模型都是独立翻译，代词回指和词汇一致性等话语现象可能取决于比前几句更远的远程依赖，在基于句子的翻译中会被忽略。思路：翻译文本时，还是会翻译输出很多句子，每个时间步产生一个单词。在输出当前时刻的单词时，普通的神经机器翻译只考虑对应的源语句和之前的输出单词，这篇论文考虑了对应的源语句，之前输出的单词，其他的源语句和其他的目标...

问题：对于大量语言对存在完全没有并行数据的问题，并且可能严重损害机器翻译的质量解决方法：利用HRL（高资源语言）和LRL（低资源语言）之间的相似性，以便使用音译将HRL数据转换为类似于LRL的数据。音译模型是根据从维基百科文章标题中提取的音译对进行训练的。然后，我们使用音译HRL数据训练的模型自动反向翻译单语LRL数据，并使用生成的平行语料库来训练我们的最终模型。思路：通过使用音译模型将H...

问题：内部不确定性：large beam search会导致性能下降，罕见词的低估和最终翻译缺乏多样性外部不确定性：单个源句的多个有效翻译的存在，嘈杂的训练数据思路：提出了工具和指标来评估模型分布如何捕获数据的不确定性以及它如何影响生成翻译的搜索策略任务本身固有的不确定性（intrinsic 不确定性）：同一个语句存在几个语义等价的翻译。即使字面上有很多表达相同含义的方法，翻译...

问题：自回归：解码器具有自回归属性，生成每一个单词都依赖之前生成的单词，非并行的，速度慢解决方法：非自回归并行产生输出，在推断时候降低了一个数量级的延迟思路：首先理解和解释属于语句，同时预测一系列数字，然后通过直接复制输入文本来启动并行解码器，数字表示每个单词在输出语句中要求多少空间。自回归和非自回归对比：自回归计算公式：非自回归计算公式：，目标语句长度T由独立条件分布建模...

问题：NMT通常产生流利的目标语句，但是却不忠于源语句（unfaithful）解决方法：使用一个短语表作为推荐记忆，为值得推荐的单词添加奖励步骤：首先通过源语句搜索短语翻译表来导出前缀树以容纳所有候选目标短语，然后再候选目标短语和先前翻译的目标单词之间进行匹配来构建推荐单词集，之后通过使用注意力向量和短语翻译概率来确定每个推荐单词的特定奖励值，最后把此奖励值整合到NMT中来改善翻译结果。...

背景：NMT经常会忽略历史对齐信息，这样会导致过度翻译或者未翻译思路：使用一个覆盖向量来追踪注意力历史，这个覆盖向量可以帮助调整未来注意力，使得NMT更多的考虑未被翻译的源单词。提出了两个覆盖模型，一个是语言覆盖模型，充分利用语言信息，和解码无关，只与encoder的隐藏层状态相关。另一个是神经网络覆盖模型，使用GRU计算，涉及到encoder的隐藏层状态，decoder的隐藏层状态和注意力对...