QKV(Query、Key、Value)是ci注意力机制的核心概念(Q:查询;K: 特征;V:实际词语)

1758 篇文章 ¥199.90 ¥299.90
1347 篇文章 ¥199.90 ¥299.90
1157 篇文章 ¥199.90 ¥299.90

QKV(Query、Key、Value)是ci注意力机制的核心概念(Q:查询;K: 特征;V:实际词语)

作用类似“查字典”:用“问题”(Query)查“目录”(Key),找到匹配的“内容”(Value),最终整合出结果。我们用一个生活化的例子说明:

例子:老师批改作文时的注意力

假设老师要批改一句话:“小明在操场跑步,他跑得很快”,需要判断“他”指的是谁。这里的QKV可以理解为:

  1. Query(Q,查询向量)
    对应要“聚焦”的词——这里是“他”。
    Q向量的作用是:“我(他)想知道自己指的是谁?”,提取的是“寻找指代对象”的特征。

  2. Key(K,键向量)
    对应句子中其他词的“特征标签”——这里是“小明”“操场”“跑步”“很快”。
    每个词的K向量像“标签”:

    • “小明”的K:包含“人名、主语、动作发出者”特征;
    • “操场”的K:包含“地点”特征;
    • “跑步”的K:包含“动作”特征。
  3. Value(V,值向量)
    对应每个词的“具体内容”——是K标签对应的“实际信息”:

    • “小明”的V:“一个叫小明的人”;
    • “操场”的V:“一个运动的地方”;
    • “跑步”的V:“
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ZhangJiQun&MXP

等到80岁回首依旧年轻

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值