transformer的MASK

最新推荐文章于 2024-08-13 21:16:06 发布

AiA_AiA

最新推荐文章于 2024-08-13 21:16:06 发布

阅读量245

点赞数 1

分类专栏：自然语言处理 Transformer 文章标签： python

本文链接：https://blog.youkuaiyun.com/weixin_40252835/article/details/118656372

版权

该博客主要介绍了自注意力机制中的两个关键MASK的生成方法。`get_attn_pad_mask`函数用于处理填充序列，通过创建一个与填充部分匹配的屏蔽矩阵来阻止注意力计算。而`get_attn_subsequent_mask`则生成一个上三角矩阵，确保序列中当前位置不能关注到之后的位置，防止信息泄露。这两个MASK在Transformer等模型中起着重要作用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

MASK

# 返回True和False组成的MASK
def get_attn_pad_mask(seq_q, seq_k):
    batch_size, len_q = seq_q.size()
    batch_size, len_k = seq_k.size()
    # eq(zero) is PAD token
    pad_attn_mask = seq_k