Transformer注意力机制

 Transformer 的注意力机制是其核心组成部分，主要用于捕捉序列中不同元素之间的依赖关系。

它通过自注意力（self-attention）和多头注意力（multi-head attention）两种形式来实现。

自注意力机制允许模型在处理序列时，同时关注序列中的所有位置，从而捕获全局依赖关系。这种机制通过计算每个元素与其他元素之间的相关性（即注意力分数），来确定每个元素对当前处理任务的重要性。

多头注意力机制则进一步扩展了自注意力的能力，通过并行计算多个注意力头，模型可以从不同的子空间中学习到不同的表示，从而增强模型的表达能力。

推荐阅读

1. 可视化注意力机制，Transformer的核心https://datong.info/translate?target=https%3A%2F%2Fwww.3blue1brown.com%2Flessons%2Fattention