pytorch中的masked_fill_

原创 已于 2023-06-07 16:50:49 修改 · 742 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #深度学习 #人工智能

于 2023-06-07 16:49:44 首次发布
在使用PyTorch实现Transformer模型时，遇到attenmask矩阵为torch.uint8类型的问题，这在新版PyTorch中已不推荐。当使用masked_fill_函数填充序列时，会发出警告，提示应将mask类型改为torch.bool。解决方法是将mask转换为torch.bool类型，如：scores.masked_fill_(mask.bool(),-1e9)。此更改能消除警告并正确执行mask操作。
部署运行你感兴趣的模型镜像

使用pytorch实现transformer中的atten mask时，生成的mask矩阵为0，1阵，类型为torch.unit8。这时在使用masked_fill_函数对seq进行mask时会出现警告（版本较高的torch）。

​
masked_fill_ received a mask with dtype torch.uint8, this behavior is now deprecated,please use a mask with dtype torch.bool instead.

​

这时，只要将mask矩阵中的torch.unit8类型变为torch.bool即可。

如：

scores.masked_fill_(mask,-1e9)

改为以下，即可：

scores.masked_fill_(mask.bool(),-1e9)

您可能感兴趣的与本文相关的镜像

PyTorch 2.7

PyTorch 2.7

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

fanfan-yi
关注
pytorch中不同的mask方法：masked_fill, masked_select, masked_scatter
溯源的专栏
03-30 877
在 PyTorch 中，和是三种常用的掩码（mask）操作方法，它们通过布尔类型的掩码张量（mask）对原始张量进行条件筛选或修改。
pytorch masked_fill报错的解决
09-17
今天小编就为大家分享一篇pytorch masked_fill报错的解决，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch .masked_fill_()
weixin_44317740的博客
10-22 880
masked_fill_(mask, value) 掩码操作 用value填充tensor中与mask中值为1位置相对应的元素。mask的形状必须与要填充的tensor形状一致。 a = torch.randn(5,6) x = [5,4,3,2,1] mask = torch.zeros(5,6,dtype=torch.float) for e_id, src_len in enumerate(x): mask[e_id, src_len:] = 1 mask = mask.to(device
pytorch masked_fill
Answer3664的博客
09-16 711
import torch.nn.functional as F import numpy as np a = torch.Tensor([1,2,3,4]) a = a.masked_fill(mask = torch.ByteTensor([1,1,0,0]), value=-np.inf) print(a) b = F.softmax(a) print(b) tensor([-inf...
pytorch中的 .masked_fill_()函数
weixin_44809603的博客
01-22 2250
1 What? 明确函数功能，掩码操作，用value掩盖mask中相对应的元素。 .masked_fill_(mask,value) 2 HOW? 要怎么使用。 a = torch.randn(5,6) x = [5,4,3,2,1] mask = torch.zeros(5,6,dtype=torch.float) for e_id, src_len in enumerate(x): mask[e_id, src_len:] = 1 mask = mask.to(device = 'cpu')
Pytorch masked_fill_() masked_fill()
Decennie的博客
07-30 471
pytorch masked_fill方法简单理解
PyTorch中masked_fill方法原理与应用详解
查阅其源码（如 GitHub 上 PyTorch 主仓库中的 ATen 库实现）可发现，该函数最终映射到底层的 `native::masked_fill_kernel_impl` 或类似命名的内核函数，利用并行化逻辑逐元素判断掩码状态并执行赋值操作。...
在PyTorch中，masked_fill方法用于根据布尔掩码（mask）将张量中特定位置的元素替换为指定值，为什么要进行屏蔽
04-01
根据引用[1]，masked_fill()和masked_fill_()的区别在于是否原地操作。masked_fill会返回新张量，而masked_fill_会直接修改原张量。用户的问题可能更关注方法的基本作用，所以需要先解释masked_fill的基本功能，即...
pytorch masked_fill方法简单理解
热门推荐
jianyingyao7658的博客
12-04 3万+
>>> help(torch.Tensor.masked_fill) Help on method_descriptor: masked_fill(...) masked_fill(mask, value) -> Tensor Out-of-place version of :meth:`torch.Tensor.masked_fill_` >>...
[Pytorch函数] .masked_fill_()
qq_41568188的博客
07-11 2万+
masked_fill_(mask, value) 掩码操作 用value填充tensor中与mask中值为1位置相对应的元素。mask的形状必须与要填充的tensor形状一致。 a = torch.randn(5,6) x = [5,4,3,2,1] mask = torch.zeros(5,6,dtype=torch.float) for e_id, src_len in enumerate(x): mask[e_id, src_len:] = 1 mask = mask.to(device
Pytorch中的masked_fill()函数
weixin_44737266的博客
05-07 4999
masked_fill()函数 主要用在transformer的attention机制中，在时序任务中，主要是用来mask掉当前时刻后面时刻的序列信息。此时的mask主要实现时序上的mask。 >>>a=torch.tensor([1,0,2,3]) >>>a.masked_fill(mask = torch.ByteTensor([1,1,0,0]), value=torch.tensor(-1e9)) >>>a >>>tenso
【Torch API】pytorch 中masked_fill()函数详解
devil_son1234的博客
03-27 1916
必须是一个 ByteTensor ，shape必须和 a一样，且元素只能是 0或者1 ，是将 mask中为1的 元素所在的索引，在a中相同的的索引处替换为 value ，mask value必须同为tensor。
/pytorch/aten/src/ATen/native/cuda/LegacyDefinitions.cpp:14: UserWarning: masked_fill_ received a ma
yscoder的博客
10-23 5236
出现如下异常: /pytorch/aten/src/ATen/native/cuda/LegacyDefinitions.cpp:14: UserWarning: masked_fill_ received a mask with dtype torch.uint8, this behavior is now deprecated,please use a mask with dtype t...
详细分析Pytorch中的masked_fill基本知识（附Demo）
码农研究僧的博客
10-26 1707
基本的原理知识如下： 输入张量和掩码： masked_fill 接受两个主要参数：一个输入张量和一个布尔掩码 掩码的形状必须与输入张量相同，True 表示需要填充的位置，False 表示保持原值 掩码操作： 在执行 masked_fill 操作时，函数会检查掩码中每个元素的值 如果掩码对应的位置为 True，则在输出张量中填充指定的值； 如果为 False，则保留输入张量中对应位置的值 输出结果： 最终生成的新张量包含了在掩码位置上被替换的值，其余位置保持原样
【PyTorch】Tensor.masked_fill() 方法：根据布尔掩码（mask）将张量中部分元素替换为指定值
最新发布
彬彬侠的博客
04-04 776
在 PyTorch 中，masked_fill() 是一个用于 根据布尔掩码（mask）将张量中部分元素替换为指定值 的方法。它常用于：遮蔽（mask）掉某些无效元素（如 attention mask），对填充值进行处理，实现数值屏蔽（如用 -inf 屏蔽 softmax 中的无效位置）。
PyTorch中的masked_select、masked_fill_()、 masked_fill()的区别
岁月如歌
02-15 2845
PyTorch中的masked_select、masked_fill_()、 masked_fill()的区别
【代码学习】pytorch常见函数
qq_41100635的博客
02-24 457
【代码】【代码学习】pytorch常见函数。
Pytorch masked_fill 函数理解应用
weixin_41684423的博客
05-27 3071
masked_fill_(mask,value) Fills elements ofselftensor withvaluewheremaskis True. The shape ofmaskmust bebroadcastablewith the shape of the underlying tensor. Parameters mask(BoolTensor) – the boolean mask value(float) – the value to ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值