Firmiana1220的博客

简介Jierui Li, Wang Lei 和 Dongxiang Zhang团队发表在ACL19上的工作。主要使用不同功能的Multi-Head Attention来获取不同类型对象的关系。受到multi-head attention工作的启发，作者设计了四种不同的attention机制：Global attention：以整个句子的表示作为query, key和value，以获取全局信...

Word Embedding论文阅读笔记1. Google 2017—Attention is All You Need主要内容提出Transformer架构，用于机器翻译任务中。可替代RNN和Encoder-Decoder结构。仅使用attention机制(Self Attention + Multi-Head Attention)，没有任何递归和卷积。不仅在机器翻译任务中效果好，而且可...