[nlp] transformer中的mask机制（encoder:mask pad=inf,decoder:mask下三角矩阵为true）

最新推荐文章于 2025-06-06 14:20:35 发布
原创 最新推荐文章于 2025-06-06 14:20:35 发布 · 1.4k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

Transformer模型中的mask操作分为Encoder和Decoder两部分。Encoder的mask用于处理不同长度的输入序列，通过设置0为负无穷，确保注意力只集中在有效位置。Decoder的mask则采用下三角矩阵，确保在解码过程中只能依赖已生成的前序单词，防止未来信息泄露。这一机制在防止自注意力计算时的越界问题中起关键作用。
了解本专栏 订阅专栏 解锁全文 超级会员免费看
图文详解transformer模型—pad mask与sequence mask掩码张量详解
人工智能研究所的博客
10-08 89
本文详细讲解了Transformer模型中的两种掩码机制：padmask和sequencemask。padmask用于处理不同长度的输入序列，通过在不足长度处填充pad字符，并利用掩码矩阵屏蔽这些填充位置，避免影响注意力计算。sequencemask则用于解码器的自回归预测，通过上三角矩阵屏蔽未来信息，防止模型提前获取后续单词。两种掩码共同作用，确保模型在训练时既能处理变长序列，又能遵守自回归预测的顺序性要求。文章还通过具体示例展示了两种掩码的生成过程和应用场景。
Transformer模型结构分析：Encoder、Decoder以及注意力机制详解
08-02 2474
Transformer模型由论文[1]提出，其基本思想是使用注意力机制代替循环神经网络(RNN)或卷积神经网络(CNN)，是一种基于序列到序列(Seq2seq)的机器翻译、文本摘要、对话系统等任务的成功范例。Transformer模型使用全连接层代替RNN和CNN的门控结构，并用多头注意力机制进行了改进，能够在捕捉全局上下文信息的同时，还保持输入输出序列之间的独立性。本文将从原理上和代码实现两个角度出发，详细解析Transformer模型的编码器、解码器及注意力机制的设计原理和具体操作步骤。
对Transformer中的MASK理解
一步一脚印
11-14 5636
上一篇文章我们介绍了，今天我们来介绍一下对MASK的理解老规矩，还是先放一张Transformer的图片Transformer结构主要分为两大部分，一是Encoder层结构，另一个则是Decoder层结构，而所谓的MASK在Encoder和Decoder两个结构中都有使用。Transformer中的MASK主要分为两部分：Padding Mask和Sequence Mask两部分。
对于Transformer的Mask机制的再思考——Encoder部分
weixin_44607838的博客
04-09 4003
Mask机制 虽然Mask机制在NLP领域是一个十分常见的操作，但是过去并没有仔细思考它的意义。最近参加了阿里天池的一个关于医学影像报告异常检测的数据竞赛。本质上是一个关于文本的多标签分类任务。在这个任务中，我尝试使用Transformer的Encoder结构作为基础来构建分类模型。为了巩固以及加深理解，没有使用PyTorch自带的Transformer模型，而是选择手动搭建。 Encoder中的Mask 在Encoder部分，涉及到的mask主要指self-attention过程中，在计算每个token的
对于Transformer的Mask机制的再思考--Decoder部分
weixin_44607838的博客
07-07 5239
前言 之前我曾经在一篇博客中有介绍关于Transformer模型的Encoder部分的mask,在这篇文章中，我打算将Decoder部分的mask机制也补充完整。OK，那么我们进入正题。 Decoder结构 首先我们先来看一下Decoder的结构,下面这张图取自google在2017年发的著名文章:Attention Is All You Need，也就是最初提出Transformer结构的文章。 为了专注于Decoder的部分，关于原图中Encoder的部分我并没有截取。如果我们仔细观察D
理解Transformer中mask操作
lixiao2112924629的博客
06-16 4814
理解深度学习中transformer结构的mask操作
Transformer中mask机制理解
qq_52531938的博客
10-27 2246
阅读源代码后我们发现，首先，传入forward的参数中，slf_attn_mask对应传入的是trg_mask，dec_enc_attn_mask对应传入的是src_mask。src_mask是消除掉为了补齐长度而用来padding的元素对注意力的影响得到的mask（对应函数get_pad_mask)，而trg_mask除了此种掩码之外，还用到了一个消除掉暂时还未解码出的字的影响的掩码机制(对应函数get_subsequent_mask)。原理与之前类似，只不过不Q的序列长度会与K不同。
深度学习Transformer架构详解：Encoder-Decoder模块功能及LoRA微调技术在机器翻译中的应用
06-10
适合人群：对深度学习和自然语言处理有一定了解的研究人员和工程师。 使用场景及目标：①理解Transform架构中Encoder和Decoder的具体工作流程；②掌握lora微调方法及其应用场景；③提高对Transformer模型内部机制的...
Transformer架构解析：Encoder与Decoder核心差异、生成式解码技术详解
06-06 2339
本文系统解析Transformer架构中Encoder与Decoder的核心差异： Encoder：全局无掩码自注意力，专注输入序列特征提取（如BERT），适用理解类任务； Decoder：带因果掩码的自回归生成，逐步预测下一词（如GPT），适配文本生成场景； 解码技术： 搜索策略：贪心解码（高效但单调）、束搜索（全局优化但保守）； 采样策略：Top-k/Top-p动态截断概率分布，结合温度系数调控随机性，平衡生成质量与多样性； 惩罚机制：重复惩罚、长度惩罚提升生成合理性。
【自然语言处理】基于PyTorch的Transformer自注意力机制解析：多头注意力模型实现与源码应用
最新发布
12-03
阅读建议：此资源强调理论与代码结合，建议读者在阅读过程中动手运行示例代码，逐步调试每一层的张量形状变化，加深对维度变换和并行计算机制的理解，同时对照Transformer整体架构延伸学习Encoder/Decoder结构。
【深度学习】Transformer中的mask机制超详细讲解
热门推荐
Blog
06-13 3万+
Transformer中的mask机制超详细讲解 方法1 输出如下： 方法2 输出如下 decoder中的masked自注意力中的mask 方法1 输出如下 方法2 输出如下 decoder交叉注意力中的mask 方法1 输出如下 方法2 输出如下
我这样读懂了Transformer框架中的掩码机制
Androiddddd的博客
12-31 3474
在Transformer框架中，掩码（Mask）是一种重要的机制，如上图的位置1，2，3，包括编码器，解码器中的自注意力层和交叉注意力层中，都会出现掩码的过程，它用于控制模型在处理序列数据时对不同元素的关注程度。那我们该如何理解和创建掩码呢？本篇将带大家认识一下掩码。
Transformer -2：Mask self-attention 掩码机制
m0_75108877的博客
05-13 1415
掩码机制是 Transformer 模型的核心组件之一，它通过控制注意力的流动，解决了序列处理中的变长和信息泄露问题。如何构建掩码向量和掩码矩阵如何将掩码应用到注意力分数掩码机制在不同场景下的应用。
算法面试之transformer的Mask和并行性
持续战斗状态的博客
04-05 2744
1.Mask 掩码 由于在实现多头注意力时需要考虑到各种情况下的掩码，因此在这里需要先对这部分内容进行介绍。在Transformer中，主要有两个地方会用到掩码这一机制。 第1个地方就是Attention Mask，用于在训练过程中解码的时候掩盖掉当前时刻之后的信息； 第2个地方便是对一个batch中不同长度的序列在Padding到相同长度后，对Padding部分的信息进行掩盖。 padding mask 在所有的 scaled dot-product attention 里面都需要用到，而 sequenc
对于Transformer中的mask理解
weixin_44729115的博客
05-13 2988
概述 transformer中的mask操作，可以分成encoder端和decoder端 Enocoder中的mask 首先确定mask的形状是 batch_size*seq_length 对于小于最大长度的句子进行补0操作，对于大于最大长度的句子进行截断操作。 虽然对少于最大长度的句子进行了补零操作但是这些０仍然会参与注意力分数的计算。 这里需要将mask中的０变成负无穷，１变成０，与计算的注意力矩阵相加，原来有单词的注意力不变，没有单词的位置变换成负无穷，之后在进行softmax运算 decod
Transformer 中的mask
咖乐部
02-18 1万+
transformer中的mask有两种作用：其一：去除掉各种padding在训练过程中的影响。 其二，将输入进行遮盖，避免decoder看到后面要预测的东西。 1.Encoder中的mask 的作用属于第一种 在encoder中，输入的是一batch的句子，为了进行batch训练，句子结尾进行了padding（P）。在输入encoder中训练的过程中，先进性多头自注意计算。在这个过程中 1）进行(q*K^T)/d_model^1/2. 2)然后要对得到的权重矩阵进行mask 3...
Transformer模型：Encoder的self-attention mask实现
weixin_62472350的博客
07-13 1442
这是对Transformer模型的Word Embedding、Postion Embedding内容的续篇。
Transformer模型-decoder解码器，target mask目标掩码的简明介绍
Ankie资深技术项目经理
04-10 2350
解码器层是对前面文章中提到的子层的包装器。它接受位置嵌入的目标序列，并将它们通过带掩码的多头注意力机制传递。使用掩码是为了防止解码器查看序列中的下一个标记。它迫使模型仅使用之前的标记作为上下文来预测下一个标记。然后，它再通过另一个多头注意力机制，该机制将编码器层的输出作为额外的输入。最后，它通过位置全连接前馈网络。在这些子层中的每一个之后，它都会执行残差相加和层归一化。
Mask Transfiner for High-Quality Instance Segmentation
zhang2010hao的博客
07-21 2595
Mask Transfiner for High-Quality Instance Segmentation
Transformer模型解析：Encoder-Decoder与词编码
Transformer模型是自然语言处理（NLP）领域的一种创新性结构，主要应用于序列到序列（seq2seq）的任务，如机器翻译。它的核心设计理念在于通过自注意力（Self-Attention）机制，使得模型能够全局考虑输入序列的信息...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值