双向注意力模型,尽可能使注意力在两个方向上保持一致
模型的中心思想就是对于相同的training data,使source-to-target和target-to-source两个模型在alignment matrices上保持一致。这样能够去掉一些注意力噪声,使注意力更加集中、准确。
这篇文章胜在idea,很巧妙地想到了让正反向的注意力一致来改进attention。
双向注意力模型,尽可能使注意力在两个方向上保持一致
模型的中心思想就是对于相同的training data,使source-to-target和target-to-source两个模型在alignment matrices上保持一致。这样能够去掉一些注意力噪声,使注意力更加集中、准确。
这篇文章胜在idea,很巧妙地想到了让正反向的注意力一致来改进attention。