浅谈Attention与Self-Attention的前世今生

 

目录

浅谈Attention与Self-Attention的前世今生

前言

Attention是什么？

广义注意力机制

Self Attention

Attention和Self-Attention的计算公式？

 Attention的计算过程讲解

Attention和Self-Attention的区别？

Attention scoring functions

 Scaled dot-product attention

Additive attention

Self Attention机制的优越之处

Self-Attention的优点(相较于CNN而言)：

Self-Attention归纳如下：

Self-attention的优点归纳为以下：

参考资料：

---

浅谈Attention与Self-Attention的前世今生

前言

2017年的某一天,Google 机器翻译团队发表了《Attention is All You Need》这篇论文，犹如一道惊雷，Attention横空出世了！（有一说一，这标题也太他喵嚣张了……）

   

很快Attention就被推上了神坛，搭载着犹如核弹的Transformer，Bert出现了，在NLP的各个任务上屠榜，后来预训练