生物信息学|Attention Is All You Need
本篇推文引自:Attention Is All You Need
摘要
主要的序列数据转导模型都是基于复杂的递归或卷积神经网络,其中包括一个编码器和一个解码器。我们提出了一种新的简单网络结构,Transformer,完全基于注意机制,避免了递归和卷积。在两个机器翻译任务上的实验表明,该模型具有更高的质量,同时具有更强的并行性和更少的训练时间。我们的模型在WMT 2014英德语翻译任务中达到28.4 BLEU,比现有的最佳结果(包括集成)提高了2倍以上。在WMT 2014英法翻译任务中,我们的模型在8
原创
2021-03-24 14:32:46 ·
446 阅读 ·
0 评论