沃·夏澈德的博客

论文原文论文中心思想：提出了一种只使用注意力机制的模型，模型中没有结合任何RNN或CNN，通过encoder--decoder的模型实现出了一种强力有效的模型。引言与背景在注意力机制诞生后，诞生了多种改进的模型，但是这些模型一般都是把注意力机制与循环神经网络结合（包括一些改良的，如LSTM），但是这些模型有个弊端，就是并行计算能力不强，为解决这一些问题，论文提出了一种仅基于注意力...

论文原文镇四方，大神护我科研顺利，顶会约稿~~这是注意力机制落地到自然语言处理的一篇论文，好像是第一篇，没有考究。论文中心思想：在传统的机器翻译模型（encoder-decoder）中的decoder中加入注意力机制，使得在解码时不再使用同一段中间向量，而是有针对地对译文中每一个词使用与原文相对的内容来生成的中间向量。以下先解读论文内容（注重点为注意力机制），再从中抽象出注意力机...