在NLP中广泛应用的transformer(Self-Attention)剖析笔记
在NLP中如日中天的transformer笔记参考文献
自从谷歌在2017NIPS上发表paper Attention is All You Need 以来,最近很多NLP场景已经应用了transformer,包括最近很火的GPT/BERT,本文将以这篇paper为主并结合github上高star的实现源代码 transformer 一起梳理一下self-attention机制
在trans...
原创
2018-12-21 09:20:13 ·
9102 阅读 ·
2 评论