Transformer简明教程 P5 Mask

最新推荐文章于 2025-06-14 23:19:08 发布
原创 最新推荐文章于 2025-06-14 23:19:08 发布 · 312 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #transformer #人工智能

部署运行你感兴趣的模型镜像

pad这个词对其他的词要计算，而其他词对pad的不用计算；
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

您可能感兴趣的与本文相关的镜像

TensorFlow-v2.15

TensorFlow-v2.15

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。 它提供了一个灵活的平台,用于构建和训练各种机器学习模型

transformer学习之Mask
MyHeartWillGoOn
01-01 2400
文章目录题目mask作用mask处理非定长问题mask防止模型在预测时提前知道未来的信息具体实现过程 参考见 ➡️ NLP 中的Mask全解 题目 transformer学习之Mask mask作用 直译：面具 在Transformer中mask的作用有两个： 处理输入中序列长度不等的问题 防止模型在预测时提前知道未来的信息 mask处理非定长问题 在NLP领域中，一篇文章往往是由短则几百长则几万个句子构成的，每一个句子的长度不尽相同，所以在处理的时候会显得格外麻烦，因为在模型训练时需要将这些单词进行预
Transformer架构；Encoder-Decoder；Padding Mask；Sequence Mask；
ZJQ的博客
08-13 973
Transformer架构；Encoder-Decoder；Padding Mask；Sequence Mask；
对Transformer中的MASK理解
一步一脚印
11-14 5590
上一篇文章我们介绍了，今天我们来介绍一下对MASK的理解老规矩，还是先放一张Transformer的图片Transformer结构主要分为两大部分，一是Encoder层结构，另一个则是Decoder层结构，而所谓的MASK在Encoder和Decoder两个结构中都有使用。Transformer中的MASK主要分为两部分：Padding Mask和Sequence Mask两部分。
Transformer 中的mask
To be a better man
05-24 9359
简单聊聊transformer里的mask ——转载自链接一 1.padding mask 在encoder和decoder两个模块里都有padding mask，位置是在softmax之前，为什么要使用padding mask，是因为由于encoder和decoder两个模块都会有各自相应的输入，但是输入的句子长度是不一样的，计算attention score会出现偏差，为了保证句子的长度一样所以需要进行填充，但是用0填充的位置的信息是完全没有意义的（多余的），经过softmax操作也会有对应的输..
Transformer -2：Mask self-attention 掩码机制
m0_75108877的博客
05-13 1391
掩码机制是 Transformer 模型的核心组件之一，它通过控制注意力的流动，解决了序列处理中的变长和信息泄露问题。如何构建掩码向量和掩码矩阵如何将掩码应用到注意力分数掩码机制在不同场景下的应用。
Transformer简明教程 P9 注意力与位置编码
xd0dx的博客
03-18 1124
# 注意力计算函数 def attention(Q, K, V, mask): # b句话,每句话50个词,每个词编码成32维向量,4个头,每个头分到8维向量 # Q,K,V = [b, 4, 50, 8] # [b, 4, 50, 8] * [b, 4, 8, 50] -> [b, 4, 50, 50] # Q,K矩阵相乘,求每个词相对其他所有词的注意力 score = torch.matmul(Q, K.permute(0, 1, 3, 2)) .
nlp中的transformer中的mask
vivi_cin的博客
01-05 1242
由于在实现多头注意力时需要考虑到各种情况下的掩码，因此在这里需要先对这部分内容进行介绍。第1个地方就是在上一篇文章用介绍到的Attention Mask，用于在训练过程中解码的时候掩盖掉当前时刻之后的信息；但是在解码过程中为了模拟在真实的inference场景中，当前位置看不到下一位置，且同时需要上一位置的信息，所以在训练的时候加了attention mask。所以，如果你的任务在实际的inference中也符合这样的特点，那么你在训练的时候也是需要attention，相反则不需要。
Transformer简明教程 P10 Mask函数
xd0dx的博客
03-18 874
是pad情况为true，不是为false def mask_pad(data): # b句话,每句话50个词,这里是还没embed的 # data = [b, 50] # 判断每个词是不是<PAD> mask = data == zidian_x['<PAD>'] # [b, 50] -> [b, 1, 1, 50] mask = mask.reshape(-1, 1, 1, 50) # 在计算注意力时,是计算50个词
理解Transformer中mask操作
lixiao2112924629的博客
06-16 4755
理解深度学习中transformer结构的mask操作
对于Transformer中的mask理解
weixin_44729115的博客
05-13 2980
概述 transformer中的mask操作，可以分成encoder端和decoder端 Enocoder中的mask 首先确定mask的形状是 batch_size*seq_length 对于小于最大长度的句子进行补0操作，对于大于最大长度的句子进行截断操作。 虽然对少于最大长度的句子进行了补零操作但是这些０仍然会参与注意力分数的计算。 这里需要将mask中的０变成负无穷，１变成０，与计算的注意力矩阵相加，原来有单词的注意力不变，没有单词的位置变换成负无穷，之后在进行softmax运算 decod
算法面试之transformer的Mask和并行性
持续战斗状态的博客
04-05 2740
1.Mask 掩码 由于在实现多头注意力时需要考虑到各种情况下的掩码，因此在这里需要先对这部分内容进行介绍。在Transformer中，主要有两个地方会用到掩码这一机制。 第1个地方就是Attention Mask，用于在训练过程中解码的时候掩盖掉当前时刻之后的信息； 第2个地方便是对一个batch中不同长度的序列在Padding到相同长度后，对Padding部分的信息进行掩盖。 padding mask 在所有的 scaled dot-product attention 里面都需要用到，而 sequenc
Transformer中mask机制理解
qq_52531938的博客
10-27 2215
阅读源代码后我们发现，首先，传入forward的参数中，slf_attn_mask对应传入的是trg_mask，dec_enc_attn_mask对应传入的是src_mask。src_mask是消除掉为了补齐长度而用来padding的元素对注意力的影响得到的mask（对应函数get_pad_mask)，而trg_mask除了此种掩码之外，还用到了一个消除掉暂时还未解码出的字的影响的掩码机制(对应函数get_subsequent_mask)。原理与之前类似，只不过不Q的序列长度会与K不同。
Transformer 中 Mask 的那些事
AI研究院
06-11 1405
具体来说，最有效的修改是 N-gram mask 和相似的单词替换，这是对 mask 的语言模型任务的修改。令人惊讶的是，我们发现 40% 的遮蔽概率的输入序列可以优于 15% 的基线，通过对下游任务的微调来衡量可以发现，甚至遮蔽 80% 的字符也可以保留大部分性能。huggingface 中 data allcator 使用的是动态 mask，但不是复制数据，而是每一个 epoch 的 mask 策略都不同，这样就可以达到动态 mask 的效果了，从而使得每一个 epoch 的 mask 的情况都不同。
Transformer 两种mask简介
weixin_48185819的博客
07-21 7405
Mask 有两种，Padding-mask，用于处理不定长输入 另一种是 seqence-mask，为了防止未来信息不被泄露 padding mask - 处理输入不定长 在 NLP 中，一个常见的问题是输入序列长度不等，一般来说我们会对一个 batch 内的句子进行 PAD，通常值为 0。 sequence mask - 防止未来信息泄露 在语言模型中，常常需要从上一个词预测下一个词，sequence mask 是为了使得 decoder 不能看见未来的信息。也就是对于一个序列，在 ..
Transformer：掩码（mask）张量
最新发布
Wei_sx的博客
06-14 702
掩码张量是一个布尔或数值类型的张量，形状通常与注意力的输入（如查询和键）相匹配。其元素值决定了对应位置的注意力是否被激活（允许关注）或被屏蔽（忽略）。
【深度学习】Transformer中的mask机制超详细讲解
Blog
06-13 3万+
Transformer中的mask机制超详细讲解 方法1 输出如下： 方法2 输出如下 decoder中的masked自注意力中的mask 方法1 输出如下 方法2 输出如下 decoder交叉注意力中的mask 方法1 输出如下 方法2 输出如下
关于transformer中为什么要用mask
weixin_45193103的博客
04-06 2674
作者：王椗 链接：https://www.zhihu.com/question/369075515/answer/994819222 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 我自己的理解是这样的。 Transformer在训练的时候是并行执行的，所以在decoder的第一个sublayer里需要seq mask，其目的就是为了在预测未来数据时把这些未来的数据屏蔽掉，防止数据泄露。如果我们非要去串行执行training，seq mask其实就不需要了。比如说我.
Transformer的矩阵维度分析和Mask详解
热门推荐
我最怜君中宵舞的博客
09-29 3万+
文章目录Multi-Head attention中矩阵维度的变化Transfromer的训练过程Transformer的句子生成过程Maskmask矩阵对K进行mask对Q进行maskMasked Multi-Head Attention中的Mask mask时Transformer中很重要的一个概念，mask操作的目的有两个： 让padding(不够长补0)的部分不参与attention操作 ...
transformer中的padding mask
05-10
在Transformer模型中，输入序列的长度是不固定的，为了方便计算和统一输入维度，我们通常会在较短的序列后面填充一些特殊的符号，使得所有序列的长度都相同。这个过程就叫做padding。但是，在计算过程中，我们不希望...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值