pytorch中的masked_fill_

原创已于 2023-06-07 16:50:49 修改 · 664 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch #深度学习 #人工智能

于 2023-06-07 16:49:44 首次发布

在使用PyTorch实现Transformer模型时，遇到attenmask矩阵为torch.uint8类型的问题，这在新版PyTorch中已不推荐。当使用masked_fill_函数填充序列时，会发出警告，提示应将mask类型改为torch.bool。解决方法是将mask转换为torch.bool类型，如：scores.masked_fill_(mask.bool(),-1e9)。此更改能消除警告并正确执行mask操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用pytorch实现transformer中的atten mask时，生成的mask矩阵为0，1阵，类型为torch.unit8。这时在使用masked_fill_函数对seq进行mask时会出现警告（版本较高的torch）。


masked_fill_ received a mask with dtype torch.uint8, this behavior is now deprecated,please use a mask with dtype torch.bool instead.

这时，只要将mask矩阵中的torch.unit8类型变为torch.bool即可。

如：

scores.masked_fill_(mask,-1e9)

改为以下，即可：

scores.masked_fill_(mask.bool(),-1e9)

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

fanfan-yi

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

pytorch中不同的mask方法：masked_fill, masked_select, masked_scatter

溯源的专栏

03-30

634

在 PyTorch 中，和是三种常用的掩码（mask）操作方法，它们通过布尔类型的掩码张量（mask）对原始张量进行条件筛选或修改。

pytorch masked_fill报错的解决

01-20

如下所示： import torch.nn.functional as F import numpy as np a = torch.Tensor([1,2,3,4]) a = a.masked_fill(mask = torch.ByteTensor([1,1,0,0]), value=-np.inf) print(a) b = F.softmax(a) print(b) tensor([-inf, -inf, 3., 4.]) d:/pycharmdaima/star-transformer/ceshi.py:8: UserWarning: Implicit dimension c

参与评论您还未登录，请先登录后发表或查看评论

Pytorch .masked_fill_()

weixin_44317740的博客

10-22

843

masked_fill_(mask, value) 掩码操作用value填充tensor中与mask中值为1位置相对应的元素。mask的形状必须与要填充的tensor形状一致。 a = torch.randn(5,6) x = [5,4,3,2,1] mask = torch.zeros(5,6,dtype=torch.float) for e_id, src_len in enumerate(x): mask[e_id, src_len:] = 1 mask = mask.to(device

pytorch masked_fill

Answer3664的博客

09-16

673

import torch.nn.functional as F import numpy as np a = torch.Tensor([1,2,3,4]) a = a.masked_fill(mask = torch.ByteTensor([1,1,0,0]), value=-np.inf) print(a) b = F.softmax(a) print(b) tensor([-inf...

pytorch中的 .masked_fill_()函数

weixin_44809603的博客

01-22

2186

1 What? 明确函数功能，掩码操作，用value掩盖mask中相对应的元素。 .masked_fill_(mask,value) 2 HOW? 要怎么使用。 a = torch.randn(5,6) x = [5,4,3,2,1] mask = torch.zeros(5,6,dtype=torch.float) for e_id, src_len in enumerate(x): mask[e_id, src_len:] = 1 mask = mask.to(device = 'cpu')

Pytorch masked_fill_() masked_fill()

Decennie的博客

07-30

439

pytorch masked_fill方法简单理解

在PyTorch中，masked_fill方法用于根据布尔掩码（mask）将张量中特定位置的元素替换为指定值，为什么要进行屏蔽

04-01

根据引用[1]，masked_fill()和masked_fill_()的区别在于是否原地操作。masked_fill会返回新张量，而masked_fill_会直接修改原张量。用户的问题可能更关注方法的基本作用，所以需要先解释masked_fill的基本功能，即...

masked_fill_

01-24

`masked_fill_(mask, value)` 是 PyTorch 中的一个原位（in-place）操作，用于将张量中指定位置的元素替换为给定值。该函数会修改调用它的张量本身，而不是返回一个新的张量副本[^1]。 - 参数解释： - `mask`: ...

pytorch masked_fill方法简单理解

最新发布

彬彬侠的博客

04-04

516

在 PyTorch 中，masked_fill() 是一个用于根据布尔掩码（mask）将张量中部分元素替换为指定值的方法。它常用于：遮蔽（mask）掉某些无效元素（如 attention mask），对填充值进行处理，实现数值屏蔽（如用 -inf 屏蔽 softmax 中的无效位置）。

PyTorch中的masked_select、masked_fill_()、 masked_fill()的区别

岁月如歌

02-15

2680

PyTorch中的masked_select、masked_fill_()、 masked_fill()的区别

【代码学习】pytorch常见函数

qq_41100635的博客

02-24

430

【代码】【代码学习】pytorch常见函数。

Pytorch masked_fill 函数理解应用

weixin_41684423的博客

05-27

2953

masked_fill_(mask,value) Fills elements ofselftensor withvaluewheremaskis True. The shape ofmaskmust bebroadcastablewith the shape of the underlying tensor. Parameters mask(BoolTensor) – the boolean mask value(float) – the value to ...

masked_fill(

04-01

<think>好的，我需要回答用户关于PyTorch中masked_fill函数的使用方法，并提供示例。首先，我要确保自己理解这个函数的用途和参数。根据用户提供的引用内容，masked_fill的作用是用指定的值填充张量中对应掩码为True的位置。同时需要注意，掩码的形状必须和输入张量一致。接下来，我应该先解释函数的基本语法和参数。函数有两种形式：in-place的masked_fill_和out-of-place的masked_fill。用户提供的示例中使用了后者，返回一个新的张量，而原始张量保持不变。需要明确说明两者的区别，并建议用户根据需求选择使用。然后，我需要给出具体的示例。用户已经提供了一个示例，但可能需要更详细的说明。例如，可以分解代码步骤，说明如何创建输入张量x和掩码mask，然后应用masked_fill替换掩码位置为负无穷（-np.inf）。此外，可以补充其他常见的使用场景，比如在注意力机制中屏蔽填充位置，用0或其他特定值填充。还需要注意可能的常见错误，比如掩码形状与输入张量不匹配，或者数据类型的问题。例如，如果掩码是ByteTensor或BoolTensor，在较新的PyTorch版本中推荐使用BoolTensor。需要提醒用户检查这些细节，以避免运行时错误。另外，用户可能需要了解如何生成掩码。可以举一个生成掩码的例子，比如创建一个随机掩码，或者基于某些条件生成（例如，将张量中大于某个阈值的元素设为True）。这样可以帮助用户更好地应用该函数到自己的项目中。最后，应该总结使用场景和注意事项，强调masked_fill在处理需要条件性替换元素的情况下的实用性，比如数据预处理、屏蔽无效值或实现特定的算法逻辑。同时，确保示例代码的正确性，并建议用户在实际使用时调整参数以适应他们的具体需求。</think>### PyTorch `masked_fill` 函数使用详解 `masked_fill` 是 PyTorch 中用于按条件替换张量元素的函数，其核心逻辑是**用指定值填充输入张量中掩码（mask）为 `True` 的位置**。以下是分步说明和示例： --- #### 1. 函数语法 - **in-place 操作**（直接修改原张量）： ```python x.masked_fill_(mask, value) ``` - **out-of-place 操作**（返回新张量，原张量不变）： ```python y = x.masked_fill(mask, value) ``` --- #### 2. 参数说明 | 参数 | 类型 | 说明 | |---------|---------------|----------------------------------------------------------------------| | `mask` | `BoolTensor` | 布尔类型张量，形状需与输入张量 `x` 完全一致 | | `value` | `float/int` | 填充值，需与 `x` 的数据类型兼容（如 `float` 张量用 `-np.inf` 填充） | --- #### 3. 基础示例 **目标**：将张量中大于0.5的元素替换为 `-1`。 ```python import torch # 创建输入张量 x = torch.rand(3, 4) # 生成3x4的随机张量，值域[0,1) mask = x > 0.5 # 生成布尔掩码，True表示对应位置值>0.5 # 执行填充 y = x.masked_fill(mask, -1) print("原始张量:\n", x) print("掩码:\n", mask) print("填充后结果:\n", y) ``` --- #### 4. 应用场景示例 **场景**：在注意力机制中屏蔽填充字符（Padding Tokens）[^1] **方法**：用极小数（如 `-np.inf`）填充无效位置，使Softmax后概率接近0。 ```python import torch import numpy as np # 模拟注意力分数矩阵 attention_scores = torch.randn(2, 3, 3) # 形状：(batch_size, seq_len, seq_len) # 创建填充位置掩码（假设第二个序列的最后一个位置是填充） mask = torch.tensor([ [[False, False, False], [False, False, False], [False, False, False]], # 第一个样本无填充 [[False, False, True], [False, False, True], [False, False, True]] # 第二个样本第三位是填充 ]) # 填充无效位置 masked_scores = attention_scores.masked_fill(mask, -np.inf) print(masked_scores) ``` --- #### 5. 常见问题 1. **掩码形状不匹配** ```python x = torch.randn(2, 3) mask = torch.tensor([True, False]) # 错误：形状应为(2,3) ``` 2. **数据类型不兼容** ```python x = torch.tensor([1, 2, 3], dtype=torch.int32) x.masked_fill(mask, 0.5) # 错误：不能将float值填充到int张量 ``` --- #### 6. 扩展技巧 - **动态生成掩码**：通过条件运算生成复杂掩码 ```python # 将绝对值小于0.3的元素设为True并填充为0 mask = (x.abs() < 0.3) y = x.masked_fill(mask, 0) ``` - **链式操作**：结合其他张量操作 ```python logits = logits.masked_fill(pad_mask, -np.inf).softmax(dim=-1) ``` ---