在transformer中，mask_fill掩码中为什么把0替换成-1e9

最新推荐文章于 2025-03-30 11:09:15 发布
最新推荐文章于 2025-03-30 11:09:15 发布
阅读量1.1k 收藏 2
点赞数 1
CC 4.0 BY-SA版权
分类专栏： NLP基础 文章标签： transformer 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_43703185/article/details/120514267
本文探讨了深度学习中的注意力机制，特别是Mask技术的应用。Mask的主要目的是在预测过程中隐藏目标词向量，通过替换为0来避免信息泄露。在softmax层中，0对应的概率趋向于1，而极小负数值如-1e9则使得对应概率接近0。理解这一机制对于优化模型性能至关重要。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

mask主要为了将看不见的词向量，也即未来的数据替换成0，避免看见要预测的值
核心在于mask后的值要送入softmax中，0对应的softmax值为1，-1e9的值对应的softmax值才能接近于0

在这里插入图片描述
在这里插入图片描述

『NLP学习笔记』如何理解Transformer中的Q,K,V以及Mask[补充深度学习中的FLOPs是什么？如何计算]
AI新视界
10-12 1194
如何理解Transformer中的Q,K,V以及Mask FLOPS(注意全大写)，是floating point operations per second的缩写，意指 每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。
Transformer模型：intra-attention mask实现
weixin_62472350的博客
07-14 1260
前言这是对Transformer模型的Word Embedding、Postion Embedding、Encoder self-attention mask内容的续篇。
masked_fill函数案例演示
cts618
07-28 385
masked_fill函数案例演示
在transformer中，mask_fill掩码中为什么把0替换成-1e9这么小的一个数
qq_34595138的博客
01-09 703
mask主要为了将未来的数据替换成0 核心在于mask后的值要送入softmax中，0对应的softmax值为1，-1e9的值对应的softmax值才能接近于0，如下图： softmax的方程式：（具体参考详细介绍：https://zhuanlan.zhihu.com/p/105722023） ...
PyTorch中的masked_select、masked_fill_()、 masked_fill()的区别
岁月如歌
02-15 2688
PyTorch中的masked_select、masked_fill_()、 masked_fill()的区别
pytorch masked_fill方法简单理解
热门推荐
jianyingyao7658的博客
12-04 3万+
>>> help(torch.Tensor.masked_fill) Help on method_descriptor: masked_fill(...) masked_fill(mask, value) -> Tensor Out-of-place version of :meth:`torch.Tensor.masked_fill_` >>...
pytorch mask_filled用法
candy134834的博客
11-28 3万+
 #将 mask必须是一个 ByteTensor 而且shape必须和 a一样 并且元素只能是 0或者1 ，是将 mask中为1的 元素所在的索引，在a中相同的的索引处替换为 value  ,mask value必须同为tensor  a=torch.tensor([1,0,2,3])     # a.masked_fill(mask = torch.ByteTensor([1,1,0,0]),...
Transformer中数据维度的变化和mask
qq_38356492的博客
01-13 3847
会用到的一些函数 nn.Embedding()和padding_idx a = torch.LongTensor([0,1,2,3,4]) emb = nn.Embedding(10,5,padding_idx=0) emb(a) ## output: # tensor([[ 0.0000, 0.0000, 0.0000, 0.0000, 0.0000], # [ 1.2378, 0.2666, 0.3143, -0.4785, -0.0261], # [ 0.
scores = scores.masked_fill(mask == 0, -1e9) # [^3]为什么这么写
04-01
好的，我现在需要回答用户关于PyTorch中masked_fill方法在注意力机制中的使用问题，特别是为什么要用-1e9来填充。首先，我需要回忆一下masked_fill的基本用法。 用户提到masked_fill的作用是将mask中值为0的位置...
if mask is not None: att_ = att_.masked_fill_(mask,-1e9) 什么意思
02-27
用户可能对masked_fill_方法不太熟悉，或者不理解为什么用-1e9这个值。 首先，我应该分解代码的结构。if mask is not None: 这一行是检查是否有掩码存在。如果有的话，就执行后面的操作。接下来是att_.masked_fill_...
在PyTorch中，masked_fill方法用于根据布尔掩码（mask）将张量中特定位置的元素替换为指定值，为什么要进行屏蔽
最新发布
04-01
attention_scores = attention_scores.masked_fill(mask, -1e9) ``` 2. **图像处理中的区域屏蔽** 对图像张量的特定区域（如边缘）进行填充： ```python image_tensor = image_tensor.masked_fill(border_...
【torch】如何把给定mask按比例选取再次划分mask？
Yonggie的博客
11-29 781
在以torch为基础的很多框架下有一些集成的数据集，数据集往往自带已经划分好的mask。但是如何能够把框架给出的mask再次划分？比如按比例划分出来80%的train mask。
【Torch API】pytorch 中masked_fill()函数详解
devil_son1234的博客
03-27 1863
必须是一个 ByteTensor ，shape必须和 a一样，且元素只能是 0或者1 ，是将 mask中为1的 元素所在的索引，在a中相同的的索引处替换为 value ，mask value必须同为tensor。
pytorch中不同的mask方法：masked_fill, masked_select, masked_scatter
溯源的专栏
03-30 644
在 PyTorch 中，和是三种常用的掩码（mask）操作方法，它们通过布尔类型的掩码张量（mask）对原始张量进行条件筛选或修改。
【源码解读】Transformer的Scaled dot product部分详解
...
03-26 2118
def attention(query, key, value, mask=None, dropout=None): # shape:query=key=value---->[batch_size,8,max_length,64] d_k = query.size(-1) # k的纬度交换后为：[batch_size,8,64,max_length] # scores的纬度为:[batch_size,8,max_length,max_length]
torch.tensor的fill_(value)使用举例
敲代码的小风
12-30 7748
参考链接: fill_(value) → Tensor 实验代码展示: Microsoft Windows [版本 10.0.18363.1256] (c) 2019 Microsoft Corporation。保留所有权利。 C:\Users\chenxuqi>conda activate ssd4pytorch1_2_0 (ssd4pytorch1_2_0) C:\Users\chenxuqi>python Python 3.7.7 (default, May 6 2020, 11:
模块十：mask模块
weixin_49346755的博客
01-17 3543
mask模块主要用于创建图像surface的遮罩，也称蒙版。用Mask对象来表示，常常用于来检测物体之间是否发生碰撞。mask模块的主要方法如下： # 从给定的surface的不透明像素创建一个mask对象 # 如果使用了颜色键，则所有等于color_key的像素都会被设置，不等于color_key的像素不会被设置 # 如果没有使用颜色键，则使用每个像素的alpha值来决定设置结果掩码中的哪些位，alpha大于thresh的值会被设置 mask1 = pygame.mask.from_surface(ima
Pytorch中的masked_fill()函数
weixin_44737266的博客
05-07 4911
masked_fill()函数 主要用在transformer的attention机制中，在时序任务中，主要是用来mask掉当前时刻后面时刻的序列信息。此时的mask主要实现时序上的mask。 >>>a=torch.tensor([1,0,2,3]) >>>a.masked_fill(mask = torch.ByteTensor([1,1,0,0]), value=torch.tensor(-1e9)) >>>a >>>tenso
pytorch中的masked_fill_
niu_yifan的博客
06-07 667
使用masked_fill_函数的警告
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值