python简单实现注意力机制

博客涉及深度学习和自然语言处理领域。深度学习是数据挖掘重要手段,自然语言处理可进行词法、句法等分析。二者在信息技术中应用广泛,能助力文本处理、语义理解等工作。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

import numpy as np
import torch.nn as nn
from sklearn.metrics.pairwise import cosine_similarity

softmax = nn.Softmax()

#设置查询向量和待查询向量
q = np.array([[1,2,3]])#使用cosine_similarity函数必须为二维向量
v = np.array([[1,2,3],[4,5,6]])

#计算q和v中每个向量之间的attention得分,此处使用余弦相似度计算,可以采取其他多种计算方式
sim = cosine_similarity(q,v)

#对计算得到的attention得分进行softmax归一化
softmax_sim = softmax(torch.tensor(sim[0]))

#依据attention对v中的每一个向量进行加权求和
attention = 0
for i in range(v.shape[0]):
	attention += v[i] * np.array(softmax_sim[i])

#加权求和后取平均
attention = attention / v.shape[0]
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值