Self-Attention：从点积到自注意力

落雨收衣裳

于 2024-04-23 22:26:12 发布

阅读量2.1k

点赞数 31

文章标签： transformer 深度学习机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/weixin_43907922/article/details/138115942

版权

本文主要介绍Transformer的核心Self-Attention的原理。

目录

第1章向量点积

1.1 Self-Attention公式

1.2 向量点积

1.3 矩阵相乘

第2章 Self-Attention自注意力机制

2.2 自注意力机制

第1章向量点积

1.1 Self-Attention公式

Transformer原论文中将核心部分称为Scaled Dot-Product Attention，缩放点积注意力，最核心的公式为：

$Attention(Q,K,V)=softmax(\frac{QK^T}{\sqrt{d_k}})V$

Q：Query，查询，由输入矩阵变换而来；

K：key，键，由输入矩阵变换而来；

V：value，值，由输入矩阵变换而来。

1.2 向量点积

对于给定的一组向量 $x=(x_1,x_2,\cdots ,x_n)$ 与 $y=(y_1,y_2,\cdots,y_n)$ ，点积表示为：

最低0.47元/天解锁文章

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。