.WeightedRandomSampler（3）

大规模数据集训练优化
最新推荐文章于 2024-08-19 22:58:58 发布
原创 最新推荐文章于 2024-08-19 22:58:58 发布 · 243 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习

针对大规模数据集训练过程中出现的问题，如效率低下及各种错误，本文深入探讨了使用PyTorch中WeightedRandomSampler的局限性，并提出对于大规模数据集（如ImageNet级别）可能存在的性能瓶颈。
部署运行你感兴趣的模型镜像

问题描述： 最早一批数据是2500 多张，新一批的数据有36000 多张。

然后最近训练的时候，设置train_nums 设置为36000 

但是实际训练的时候，貌似不太行，总是报各种错误

train_nums = 36000 

 train_sampler = torch.utils.data.WeightedRandomSampler(weights=sampler_weights, num_samples=train_nums,

                                                             replacement=True)

原因分析： 

看下WeightedRandomSampler 这个函数的具体实现：
 

 

反思：

现在才有3w 的数据 运行起来就这么慢 

那么像imagenet 这种百万级别的，是不是更慢 

应该是要换个效率更高的写法

 

 

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

WeightedRandomSampler
RUN
06-02 500
from torch.utils.data.sampler import WeightedRandomSampler print(list(WeightedRandomSampler([0.4, 0.1, 0.1, 0.1, 0.1, 0.1, 0.1, 0.1], 60, replacement=True))) # [3, 2, 0, 6, 6, 4, 0, 3, 2, 0, 0, 0, 0, 3, 0, 2, 7, 7, 6, 0, 6, 1, 4, 0, 0, 0, 6, 5, 4, 5, 0, 3
WeightedRandomSampler 理解了吧
热门推荐
tyfwin的博客
09-06 1万+
WeightedRandomSampler sampler = WeightedRandomSampler(samples_weight, samples_num) train_loader = DataLoader( train_dataset, batch_size=bs, num_workers=1, sampler=sampler) 我的数据不平衡，使用pytorch，发现WeightedRandomSampler这个东西，网上找了一圈，有点会用了，就是上面这个用法，但是理解了很久..
pytorch sampler对数据进行采样的实现
12-23
PyTorch中还单独提供了一个sampler模块，用来对数据进行采样。常用的有随机采样器：RandomSampler，当dataloader的shuffle参数为True时，系统会自动调用这个采样器，实现打乱数据。默认的是采用SequentialSampler，它会按顺序一个一个进行采样。这里介绍另外一个很有用的采样方法： WeightedRandomSampler，它会根据每个样本的权重选取数据，在样本比例不均衡的问题中，可用它来进行重采样。 构建WeightedRandomSampler时需提供两个参数：每个样本的权重weights、共选取的样本总数num_samples，以及一个可选参
weightedrandomSamplers(1)
keyanxiaocaicai的专栏
04-14 604
样本不均衡问题一直机器学习甚至传统方法学习的主要问题 一般从损失函数和样本采样的角度来处理这个问题 损失函数比较相关的： 1.focallos 2.eqlloss 样本采样相关的： 在网上搜到：加权随机采样WeightedRandomSampler 自己在使用的时候： 错误分析： 这个是对样本做的权重均衡，并不是对类别做的权重均衡。 有人说如果设置的num_sample的值大于weight的个数会报错但是我没有报错 如果是对样本进行加权的话，这样我只是...
Pytorch样本比例不均衡时采用WeightedRandomSampler进行采样
Andrew_SJ的博客
12-08 1万+
做一个分类任务，样本比例不均匀，最大类与最小类差距有上百倍，因此要么用分层采样，要么用pytorch的torch.utils.data下提供的方法： WeightedRandomSampler(weights: Sequence[float], num_samples: int, replacement: bool = True, generator=None) 对不同类的样本赋予权重，然后进行权重采样： class_counts = torch.tensor([104, 642, 784]) # Cre
针对数据不平衡的加权随机采样WeightedRandomSampler
L888666Q的博客
06-09 2566
由于我们不能将大量数据一次性放入网络中进行训练，所以需要分批进行数据读取。这一过程涉及到如何从数据集中读取数据的问题，当遇到样本数据不平衡的问题，可以使用加权随机采样器WeightedRandomSampler根据各个样本数据的权重来平衡每个batch中各样本数据，提升模型的性能。pytorch提供了Sampler基类与多个子类实现不同方式的数据采样。子类包含：官方解释：WeightedRandomSampler中，采样的权重针对的是每⼀个样本，...
torch.utils.data.WeightedRandomSampler样本不均衡情况下带权重随机采样
weixin_41496173的博客
05-07 4752
关于WeightedRandomSampler的用法csdn上有一些很棒的博客。本文参考博客Pytorch样本比例不均衡时采用WeightedRandomSampler进行采样的代码对WeightedRandomSampler做进一步的分析。 首先从对官网给出的注释做进一步解释： torch.utils.data.WeightedRandomSampler(weights, num_samples, replacement=True, generator=None) Parameters: weights
Pytorch中数据采样方法Sampler(torch.utils.data)(二) —— WeightedRandomSampler & SubsetRandomSampler
hxxjxw的博客
08-14 6526
Pytorch中数据采样方法Sampler(torch.utils.data)(二) —— (WeightedRandomSampler&SubsetRandomSampler)
掌握PyTorch的加权随机采样：WeightedRandomSampler全解析
最新发布
2401_85760095的博客
08-19 1949
通过使用，我们可以有效地解决数据不平衡问题，提高模型对少数类的识别能力。这种方法简单、灵活，且易于集成到现有的训练流程中。
【Pytorch学习笔记】8.训练类别不均衡数据时，如何使用WeightedRandomSampler（权重采样器）
takedachia的博客
05-25 7125
【Pytorch学习笔记】8.训练类别不均衡数据时，如何使用WeightedRandomSampler（权重采样器）
weightedrandomsampler
03-29
dataset = torch.utils.data.TensorDataset(torch.randn(100, 3), torch.randint(0, 2, (100,))) # calculate weights for each sample based on the class distribution class_count = torch.tensor([len(torch....
数据不平衡， pytorch——WeightedRandomSampler
HJ33_的博客
09-16 6825
参考官网：class torch.utils.data.WeightedRandomSampler 参数解释如下：Parameters weights (sequence) – a sequence of weights, not necessary summing up to one num_samples (int) – number of samples to draw replacement (bool) – if True, samples are drawn wit
python加权随机库_加权随机采样WeightedRandomSampler
weixin_28686463的博客
02-20 1301
其实在WeightedRandomSampler中，采样的权重针对的是每一个样本，所以我们可以确定好每个类对应的权重，再一一对应到样本上。并且，权重其实就是比值，num_samples就是一次采样的数目，里面的比值其实就是权重的比值。class WeightedRandomSampler(Sampler):r"""Samples elements from ``[0,..,len(weights)...
使用 WeightedRandomSampler 解决数据样本不均衡的问题
Friedrichor的博客
04-02 1573
WeightedRandomSampler 使用说明
torch.utils.data.WeightedRandomSampler采样
weixin_40970506的博客
11-03 3461
# 计算权重概率代码 # lables是每张图像的类别list [0,0,1,1,0,1,1,0,0,1] classes, class_sample_count = np.unique(labels, return_counts=True) # classes = np.unique(labels) weights = np.zeros(len(labels)) for c in classes: freq = np.sum(np.
加权随机采样WeightedRandomSampler
RUN
01-27 3522
链接 class WeightedRandomSampler(Sampler): r"""Samples elements from ``[0,..,len(weights)-1]`` with given probabilities (weights).""" def __init__(self, weights, num_samples, replacement=True): # ...省略类型检查 # weights用于确定生成索引的权重
WeightedRandomSampler 详解及示例分析
ittongyuan的博客
06-07 2527
pytorch中WeightedRandomSampler详解及示例分析。解决数据集不平衡问题
使用WeightedRandomSampler处理类不平衡（PyTorch）
qian_chun_qiang的博客
05-13 6064
使用WeightedRandomSampler处理类不平衡（PyTorch） 参考博客： 博客一：Address class imbalance easily with Pytorch | by Mastafa Foufa | Analytics Vidhya | Medium 播客二：Address class imbalance easily with Pytorch Part 2 | by Mastafa Foufa | Towards Data Science 类不平衡 如论文所给出的结论，处理类不
WeightedRandomSampler示例
jacke121的专栏
03-08 1803
weights 的长度是数据的长度 如果是[0.5,0.5]， 可能只取到了第1条和第2条数据 数据为2万条，weights 就是2万条，你可以控制个值，来控制这条数据的权重 from torch.utils.data import WeightedRandomSampler weights=[1]*100 bbb=list(WeightedRandomSampler(weights, 20, replacement=True)) print(bbb) ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值