Transformer

Transformer

自注意力机制

自注意力机制核心就是计算句子在编码过程中每个位置上的注意力权重，然后再以权重和的方式计算整个句子的隐含向量表示

attention核心？

self-attention 核心公式：

\(\text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V\)

• 其中，\(Q\)，\(K\)，\(V\)分别表示查询(Query)、键(Key)和值(Value)的矩阵，\(d_k\)是每个注意力头的维度。

• 首先将query与key的转置做点积，然后将结果除以sqrt(\(d_k\))，再进行softmax计算，最后将结果与value做矩阵乘法得到output，\(d_k\)表示词向量维度，除以sqrt(\(d_k\))是为了防止\(QK^T\)过大导致softmax计算溢出，其次可以将