一文读懂「Attention」注意力机制

前言：Attention是很多内容的重点，因此需要详细了解一下 Attention 的内部逻辑，一般情况attention分为很多种类型，不同的技术涉及不同类型，这里单介绍Attention的基本逻辑。
资料：

1. Attention is All You Need：Attention Is All You Need
2. 基础介绍：https://zhuanlan.zhihu.com/p/53036028
3. 视频介绍：https://www.bilibili.com/video/BV1Ff4y187nr?p=1&vd_source=f27f081fc77389ca006fcebf41bede2d

一、什么是注意力机制？

Attention（注意力）机制如果浅层的理解，核心逻辑就是**「从关注全部到关注重点」**。

案例辅助理解：

1. Attention 机制很像人类看图片的逻辑，当我们看一张图片的时候，我们并没有看清图片的全部内容，而是将注意力集中在了图片的焦点上。视觉系统就是一种Attention机制，将有限的注意力集中在重点信息上