Attention九层塔：注意力机制的九重理解

Attention现在已经火爆了整个AI领域，不管是机器视觉还是自然语言处理，都离不开Attention、transformer或者BERT。下面我效仿EM九层塔，提出Attention九层塔。希望能与大家交流。有更好的想法也欢迎在评论区提出一起讨论。

Attention九层塔——理解Attention的九层境界目录如下:

1. 看山是山——Attention是一种注意力机制

2. 看山看石——数学上看，Attention是一种广泛应用的加权平均

3. 看山看峰——自然语言处理中，Attention is all you need

4. 看山看水——BERT系列大规模无监督学习将Attention推到了新的高度

5. 水转山回——计算机视觉中，Attention是有效的非局域信息融合技术

6. 山高水深——计算机视觉中，Attention will be all you need

7. 山水轮回——结构化数据中，Attention是辅助GNN的利器

8. 山中有山——逻辑可解释性与Attention的关系

9. 山水合一——Attention的多种变种及