pytorch之Tensor数据筛选

最新推荐文章于 2022-11-18 21:13:52 发布
最新推荐文章于 2022-11-18 21:13:52 发布
阅读量4.1k 收藏 7
点赞数 3
CC 4.0 BY-SA版权
分类专栏： pytorch 文章标签： 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/go___on/article/details/124248642
本文介绍了PyTorch中处理Tensor数据筛选的方法，包括在梯度处理中的裁剪运算，如梯度离散和梯度爆炸情况下的处理。详细探讨了torch.where、index_select、gather、masked_select和take等函数的使用，以及nonzero函数在索引和筛选上的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

tensor的裁剪运算：
对Tensor中的元素进行范围过滤，常用于梯度裁剪，即发生梯度离散或梯度爆炸时对梯度的处理。

a.clamp( m, n ) #Tensor元素小于m的数设置为m，大于n的数设置为n，中间数不变

张量的索引与数据筛选
在这里插入图片描述
torch.where（）

a = torch.rand(4,4)
b = torch.rand(4,4)
print(a)
print(b)
out = torch.where(a>0.5, a, b) #a中元素大于0.5就取a，否则取b中元素
print(out)
**运行结果如下：**
tensor([[0.8398, 0.6471, 0.4569, 0.4201],
        [0.7709, 0.3473, 0.3266, 0.7476],
        [0.3464, 0.1817, 0.9940, 0.8923],
        [0.1200, 0.3620, 0.8695, 0.5287]])
tensor([[0.2696, 0.8583, 0.1839, 0.1974],
        [0.5311, 0.5031, 0.8511, 0.2318],
        [0.2731, 0.2629, 0.5364, 0.4485],
        [0.6691, 0.6053, 0.3791, 0.7288]])
tensor([[0.8398, 0.6471, 0.1839, 0.1974], #out的值
        [0.7709, 0.5031, 0.8511, 0.7476],
        [0.2731, 0.2629, 0.9940, 0.8923],
        [0.6691, 0.6053, 0.8695, 0.5287]])
最低0.47元/天 解锁文章

200万优质内容无限畅学
pytorch tensor查找0_在PyTorch中Tensor的查找和筛选例子
weixin_26970501的博客
01-30 426
本文源码基于版本1.0，交互界面基于0.4.1import torch按照指定轴上的坐标进行过滤index_select()沿着某tensor的一个轴dim筛选若干个坐标>>> x = torch.randn(3, 4) # 目标矩阵>>> xtensor([[ 0.1427, 0.0231, -0.5414, -1.0009],[-0.4664, 0.2647...
在PyTorch中Tensor的查找和筛选例子
09-18
今天小编就为大家分享一篇在PyTorch中Tensor的查找和筛选例子，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
PyTorch中Tensor的查找和筛选
热门推荐
玄云飘风的博客
12-29 6万+
本文源码基于版本1.0，交互界面基于0.4.1 import torch 按照指定轴上的坐标进行过滤 index_select() 沿着某tensor的一个轴dim筛选若干个坐标 >>> x = torch.randn(3, 4) # 目标矩阵 >>> x tensor([[ 0.1427, 0.0231, -0.5414, -1.0009], ...
pytorch每日一学35(torch.masked_select())根据bool矩阵取出tensor中对应位置元素
Fluid_ray的博客
12-02 4079
第35个方法 torch.masked_select(input, mask, *, out=None) → Tensor 此方法中mask是一个bool矩阵，在input中取出mask中True对应的值。 首先介绍参数： input(tensor)：需要进行处理的tensor。 mask(BoolTensor)：包含了二进制掩码，要进行索引的tensor。 out：输出的结果tensor（结果为一维tensor）。 使用方法如下： >>> x = torch.randn(3, 4)
pytorch条件筛选
weixin_40222848的博客
11-18 241
条件筛选。
【pytorch】1.5 tensor 按条件筛选
weixin_37804469的博客
05-04 1642
如下的操作均会创建新的tensor，如果需要就地操作（操作于源数据上），可以使用这些方法的下划线版本 add abs addcdiv(t, v, t1, t2) addcmul(t, v, t1, t2) ceil floor clamp(t, min, max) exp log pow mul 或 * neg sigmoid tanh softmax sign aqrt 举例 ： import torch # ======= x+y的结果赋予新的张量z ======= x = torch.ara
pytorch中tensor的合并与截取方法
12-25
合并： torch.cat(inputs=(a, b), dimension=... 您可能感兴趣的文章:详解PyTorch中Tensor的高阶操作在PyTorch中Tensor的查找和筛选例子PyTorch中Tensor的维度变换实现在pytorch中为Module和Tensor指定GPU的例子pytorc
PyTorch与Tensor 深度学习基础源代码
02-05
这对于数据筛选和批量处理十分有用。 Tensor对象及其运算是深度学习实现的基础。Tensor对象可以存储数据并提供丰富的数学运算接口，如加法、乘法、矩阵乘法等。这些运算可以直接应用于单个张量，也可以是多个张量...
[TensorFlow系列-13]：TensorFlow基础 - 张量的操作 - 筛选、过滤
文火冰糖（王文兵）的博客
08-12 1万+
作者主页(文火冰糖的硅基工坊)：https://blog.youkuaiyun.com/HiWangWenBing 本文网址：https://blog.youkuaiyun.com/HiWangWenBing/article/details/119465264 目录 第1章 Tensor运算概述 1.1 概述 1.3 张量的操作与变换 1.4环境准备 1.5张量的操作 - 筛选过滤 第1章 Tensor运算概述 1.1 概述 Tensorflow提供了大量的张量运算，基本上可以对标Numpy多维数组...
记录一个torch.tensor的语法，用于mask挑选tensor中的值
weixin_44587732的博客
03-22 782
kk = torch.tensor([[4,5],[7,8]]) x = torch.zeros(2,2) y = torch.tensor([[1,0],[0,1]]) print([x.byte() |y.byte()]) print(kk[x.byte() |y.byte()]) outputs:
Pytorch 替换tensor中大于某个值的所有元素
进击的扛把子
01-21 6506
这是在自己做多标签分类任务时用到的，最后把结果sigmoid处理，值位于【0， 1】之间，大于阈值的取1，小于阈值的取0 两种方法： a = torch.rand((1, 3)) # 保证和a相同的维度大小 zero = torch.zeros_like(a) one = torch.ones_like(a) # a中大于0.5的用one(1)替换,否则a替换,即不变 a = torch.where(a > 0.5, zero, a) # a中小于0.5的用zero(0)替换,否则a替换
Pytorch根据mask对张量进行筛选
飞机火车巴雷特的博客
12-01 2458
pytorch使用mask进行张量元素选择
pytorch 一个tensor去除指定值的元素
weixin_44347271的博客
02-18 5641
可以用集合运行实现，但转换为set之后会删除重复值，所以接用np.isin实现。 A = torch.tensor([1, 2, 3]) B = torch.tensor([2]) A[~np.isin(A, B)] np.isin还可以用于dataframe数据的过滤中，速度很快非常好用。
pytorch深度学习入门—tensor的索引与数据筛选
weixin_59634927的博客
02-06 2132
torch.where 参数含义：满足这个condition则用这个tensor的元素，否则则用另一个 代码如下： # torch.where a = torch.rand(4, 4) b = torch.rand(4, 4) print(a, b) # 满足这个condition则用这个tensor的元素，否则则用另一个 print(torch.where((a > 0.5), a, b)) torch.index_select 代码如下： # torch.index_s...
pytorch使用masked掩盖某些值（筛选值）
呆萌的代Ma
08-18 1402
mask主要用来根据一定条件，筛选出一部分值来。 基本案例 import torch x = torch.randn(3, 4) mask_1 = x.ge(0.5) # 大于0.5的为True，小于0.5的值为False mask_2 = torch.BoolTensor( [ [True, False, True, False], [False, True, False, True], [True, False, True, False]
libtorch1.5 + opencv部署(如何过滤torch::tensor中的值)
winafox的专栏
08-21 431
在Libtorch中像numpy一样过滤矩阵中的值 分类 这个简单，自己随意处理即可。 语义分割 语义分割中，我们对模型输出结果会需要简单进行阈值过滤，在numpy中，我们会这样做： output[output < 0.5] = 0 这样我们就过滤了我们不需要的值，但是，我们怎么在libtorch中做呢？libtorch的api看了不少，就是没发现什么好方法。后来在pytorch论坛提问，终于找到了灵感，下面就是解决方案： 假设一个 {1, 10, 224, 224} 的 output，我们会按照如
tensor根据bool类型值筛选数据
weixin_39417324的博客
12-12 1669
a=torch.tensor([1,2,1,4,3]) b=torch.tensor([1,2,3,4,3]) a = a== 1 b = b[a] print(b)
pytorch中几种tensor掩码的获取方法（含代码）
ROYOLE'S
09-08 3437
方式一：直接取布尔值 输入： target = torch.Tensor([1,0,0,2,0,0,3]) mask = (target > 0) masked_target = target[mask] print(target) print(mask) print(masked_target) 输入： target = torch.Tensor([1,0,0,2,0,0,3]) mask = target.ge(0) masked_target = torch.masked_sel.
pytorch的tensor切片
最新发布
02-26
<think>嗯，用户想了解PyTorch的Tensor切片，我需要详细介绍一下。首先，得回忆一下Tensor切片的基础知识。PyTorch的Tensor切片和NumPy的数组切片类似，可能用户之前用过NumPy，所以可以类比说明。 应该从基本切片操作开始，比如使用start:end:step这样的格式。然后举例说明不同维度的切片方法，比如二维、三维的情况。还要提到省略号...和None的用法，这些可能对处理高维数据有帮助。 然后需要注意一些高级技巧，比如使用布尔掩码或者索引数组，这些在特定情况下很有用。还有view和reshape的区别，可能用户会混淆这两者，需要简单说明。 另外，内存共享的问题很重要，切片后的Tensor和原数据共享内存，修改会影响原Tensor。如果需要复制，应该用clone()，这点必须提到，避免用户出错。 可能用户的应用场景是深度学习中的数据预处理或模型中间层操作，所以例子要贴近实际应用，比如处理图像数据、序列数据等。需要确保例子简单明了，容易理解。 还要考虑用户可能的疑问点，比如切片时的越界问题，或者如何选择特定元素。可能需要提醒索引从0开始，负数的意义，以及步长可以是负数实现逆序。 最后，整理结构，分点讲解，先基础后高级，每个部分配上示例代码，这样用户看起来清晰。可能还需要对比PyTorch和NumPy的不同之处，如果有的话，但通常它们是相似的，所以可能不需要特别强调区别。 总之，内容要全面，结构清晰，例子实用，同时注意关键点如内存共享和复制操作。这样用户能快速掌握Tensor切片的用法，并应用到实际项目中。</think>PyTorch 的 **Tensor 切片**（Slicing）是一种高效操作多维数组的方法，语法与 Python 列表切片和 NumPy 数组切片类似。通过切片，你可以灵活地提取、修改或重组 Tensor 的数据，而无需复制底层数据（内存共享）。以下是关键知识点和示例： --- ### **1. 基本切片语法** 使用 `start:end:step` 格式对每个维度进行切片： - `start`: 起始索引（包含） - `end`: 结束索引（不包含） - `step`: 步长（默认为1） - 若省略某一维的切片，则默认选取该维度的所有元素。 #### **示例代码：** ```python import torch x = torch.tensor([[1, 2, 3], [4, 5, 6], [7, 8, 9]]) # 取第0行所有列 print(x[0, :]) # tensor([1, 2, 3]) # 取第1列所有行 print(x[:, 1]) # tensor([2, 5, 8]) # 取前两行，每行前两列 print(x[:2, :2]) # tensor([[1, 2], [4, 5]]) # 步长为2取元素 print(x[::2, ::2]) # tensor([[1, 3], [7, 9]]) ``` --- ### **2. 高级切片技巧** #### **(1) 负索引与省略号** - **负索引**：从末尾开始计数（例如 `-1` 表示最后一个元素）。 - **`...`**：自动填充剩余维度（常用于高维 Tensor）。 ```python # 取最后一列 print(x[:, -1]) # tensor([3, 6, 9]) # 四维Tensor示例（如批量图像数据: [B, C, H, W]） y = torch.randn(2, 3, 32, 32) print(y[0, ...].shape) # 等价于 y[0, :, :, :]，输出 [3, 32, 32] ``` #### **(2) 掩码（布尔索引）** 通过布尔条件筛选元素： ```python mask = x > 5 print(x[mask]) # tensor([6, 7, 8, 9]) ``` #### **(3) 索引数组** 用整数 Tensor 指定索引位置： ```python indices = torch.tensor([0, 2]) print(x[:, indices]) # 选取第0列和第2列，输出 [[1,3], [4,6], [7,9]] ``` --- ### **3. 维度操作与扩展** #### **(1) 增删维度** - **`unsqueeze(dim)`** 或 **`None`**：增加维度。 - **`squeeze()`**：删除大小为1的维度。 ```python z = x[0, :] # shape: [3] z = z.unsqueeze(0) # shape: [1, 3] z = z.squeeze() # shape: [3] ``` #### **(2) 合并与分割** - **`torch.cat()`**：沿指定维度拼接 Tensor。 - **`torch.stack()`**：新增维度拼接 Tensor。 - **`torch.split()`** 或 **`torch.chunk()`**：按大小或数量分割 Tensor。 --- ### **4. 内存共享与拷贝** - **切片操作默认共享内存**：修改切片后的 Tensor 会影响原始 Tensor。 - **显式拷贝**：使用 `.clone()` 创建独立副本。 ```python subset = x[:2, :2] subset[0, 0] = 100 print(x) # 原始Tensor的第一个元素被修改为100 # 避免内存共享 subset_copy = x[:2, :2].clone() ``` --- ### **5. 实战场景示例** #### **(1) 图像处理** ```python # 假设图像格式为 [C, H, W] image = torch.randn(3, 256, 256) cropped = image[:, 100:200, 50:150] # 裁剪中心区域 ``` #### **(2) 序列数据处理** ```python # 序列数据格式 [Seq_Len, Features] sequence = torch.randn(10, 128) first_5_steps = sequence[:5, :] # 取前5个时间步 ``` --- ### **总结** PyTorch Tensor 切片提供了类似 Python/NumPy 的灵活操作，结合 GPU 加速和自动求导，是深度学习数据处理的核心工具。关键点包括： - 基础切片语法 `start:end:step` - 高级索引（掩码、索引数组） - 内存共享机制与 `.clone()` 的使用 - 维度操作（`unsqueeze`, `squeeze`） 通过合理使用切片，可以高效处理高维数据（如图像、视频、文本序列），同时减少内存占用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值