Attention注意力机制

Attention核心思想

作用:处理时序问题

核心思想:处理序列数据时,网络应该更加关注输入中重要的部分,忽略不重要的部分。

要怎么做到? 通过学习不同部分的权重,将输入的序列中的重要部分显式加权,使得模型可以更好地关注与输出有关的信息。Transformer中的Scaled Dot-Product Attention(缩放点积注意力)是自注意力机制的核心组件,其作用是通过计算查询(Query)、键(Key)和值(Value)之间的相关性,动态地分配权重并聚合信息。

核心组件:Query、Kay、Value

Query:表示当前需要关注的位置或内容,通常是编码器/解码器的当前输入向量,与其他位置的Key比较,决定哪些部分需要被关注。

Key:作为被检索的“标签”,用于与Query计算相关性,是与Query同源的输入序列,Key和Query的点积分数决定了注意力的权重。

Value:实际携带的信息,根据注意力权重被聚合,与Key同源的输入序列,常与Key共享输入但通过不同权重矩阵投影,最终的注意力输出是Value的加权和。

三者之间的关系

Attention为什么要除以sqrt(dk)?对注意力权重进行缩放,以确保数值的稳定性。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值