题目
自注意力机制(Self-Attention Mechanism)是一种能够捕获序列内部元素之间关系的机制,它通过计算序列中每个元素与其他所有元素的相关性来实现信息的有效整合。其基本思想是将输入序列映射为查询(Query)、键(Key)和值(Value)三个矩阵,然后通过计算查询和键的相似度得到注意力权重,最后将这些权重与值相乘得到输出。
自注意力的计算步骤如下:
- 计算查询、键和值
Q = W Q ⋅ X , K = W K ⋅ X , V = W V ⋅ X Q = W_Q \cdot X, \quad K = W_K \cdot X, \quad V = W_V \cdot X Q=WQ⋅X,K=WK⋅X,V=WV

最低0.47元/天 解锁文章
1857

被折叠的 条评论
为什么被折叠?



