MegEngine 优化 dataloader 使用体验!data monitor 帮助更好定位性能瓶颈

使用pytorch时,训练集数据太多达到上千万张,Dataloader加载很慢怎么办 面对海量数据时,通过合理的策略优化PyTorch中的数据加载流程是提高模型训练效率的关键。希望本文介绍的方法能够对你有所帮助,让你在处理大规模数据集时更加得心应手。当然,除了技术上的优化外,掌握一定的数据分析技巧同样重要。在这方面,CDA数据分析师(Certified Data Analyst)提供了一系列专业的培训课程,涵盖了数据采集、处理以及分析等多个方面,旨在帮助从业者全面提升自己的数据处理能力。 阅读详情

业务模型训练中 Data 部分可能是瓶颈所在

在训练业务模型过程中,如果我们发现模型的训练速度不符合预期,往往会下意识地认为网络本身出了问题。但实际上,大多数时候问题发生在模型的数据供给逻辑中。

区分一个训练过程的瓶颈到底是在准备数据,还是在网络的计算阶段其实是很简单的。比如对于下面这段代码:

data_begin = time.perf_counter()
images, labels = next(dataloader)
data_end = time.perf_counter()
data_time = data_end - data_begin
 
net_begin = time.perf_counter()
solve(net, images, labels, optimizer)
net_end = time.perf_counter()
net_time = net_end - net_begin

我们对数据处理时间和网络计算时间分别做了监控,如果 data_time 的时间接近于 0,相对于 net_time 可以忽略不计,那么就意味着数据供给不是瓶颈;否则我们均可以认为瓶颈在数据部分。举个例子,比如 data_time 是 0.05,而 net_time 是 0.1,虽然 data_time 小于 net_time 但其实瓶颈仍然是数据处理部分。

为什么会做出这种比较反直觉的判断呢,我们需要先了解 data 和 net 的 pipeline 机制。

在实际训练中,data 和 net 实际上是并行执行的,也就是说,我们一边在 cpu 上准备数据,一边在 gpu 上进行网络训练,一个理想情况下的两者的 pipeline 如下:
1.png

在 T1 时刻,cpu 上准备 batch1 数据,而 gpu 上因为数据没有准备好而空闲;等到 T2,batch1 准备好了,gpu 上会用 batch1 进行计算,同时 cpu 也不会闲着,而是会准备 batch2 的数据,后面的都是类似的,也就是 cpu 和 gpu 彼此之间不会互相等待,两个资源都得到了最大限度的利用。

而上面代码中调用 next(dataloader) 时因为前一个周期训练时数据已经准备好了,只需直接返回准备好的数据,data 时间基本为 0,此时数据不是瓶颈。

而 data > 0 时对应什么情况呢?如下图所示,假设我们准备一个 batch 数据需要两个周期,而训练一个 batch 只需要一个周期,那么 T1,T2 时刻 cpu 上会准备 batch1 而 gpu 因为没有数据空闲,而 T3 时刻 batch1 准备完成,gpu 上开始计算,同时 cpu 上开始准备 batch2,然后 T4 时刻 batch1 完成计算,但 batch2 还没有准备完成,此时调用 next(dataloader) 的话会等待 cpu 准备数据,一直到 T5 时刻 batch2 准备完成,gpu 开始计算 batch2。这里的 data_time 实际上就是 T4。可以看到 data_time > 0 实际上对应着 data 时间比 gpu 计算时间长,所以整个瓶颈在数据准备上。

2.png

Data 部分为什么容易成为瓶颈

一般来说,算法研究过程中,因为神级网络的计算量,大家遇到的问题都是模型计算的不够快。但为什么在实际业务中往往会发现 data 也有可能出现瓶颈呢?这主要是因为两个原因:

第一个是算法研究过程中我们为了在指定数据集上获得更好的效果,我们的模型一般会设计的较大,需要的计算更多,但业务中考虑到实际推理落地的场景,模型一般不会设计的很大;
第二个是研究阶段数据集如 imagenet/coco 等原始数据图片大小一般不会很大,但业务数据的都是自己摄像头采集的,现在的摄像头越来越清晰,从 1080p 到 4k,图片大小都是很大的,所以准备数据时间占比很长。
因此在业务场景中数据成为瓶颈的可能性就大大提升。

使用 DataMonitor 定位 Data 部分的问题

那么假如数据阶段有问题,比较慢,那么到底是慢在哪里?我们又该如何解决呢?在介绍具体问题之前,先介绍一下我们是怎么处理数据的。

整个数据处理过程一般可以分成以下几个阶段:

第一阶段:加载数据,指从我们本地硬盘或者网络上读取原始的数据信息;
第二阶段:图片解码,指从原始的数据信息中还原出原始的图片,并以 numpy.ndarray 的形式表达;
第三阶段:数据 transform,一般是从原始图片做一些如加噪声,旋转裁切等操作,最后一般会把原始的图片 resize 成我们训练所需的图片大小;
第四阶段:数据 collate,一般来说会把我们处理好的单张图片等拼成符合训练要求的 batch 数据,到这里我们就完成了一个 batch 数据的生产;
最后我们可以将这个 batch 数据送给训练进程的 buffer,然后训练进程从中读取数据完成训练。
3.png

而在实际的 dataloader 中,为了加速上面的过程,我们可以给 data 处理部分开多个进程,称之为 worker,每个进程都做上面同样的事情,从而加速整体数据处理的速度。训练过程中 dataloader 的一般拓扑结构如上图所示。

造成 data 处理慢的原因一般是上面四个阶段中的一个或几个造成的。我们在做实际问题分析时可以统计数据处理过程中上面各个阶段在整体时间中的占比,从而找到具体的问题所在。

而现在 MegEngine dataloader 中已经内置了相关各个过程的时间的统计工具,使用时只需要 export MGE_DATA_MONITOR=1 即可开启,下面是一个网络训练过程中数据部分各阶段时间占比的统计实例。
4.png
这里的 pid 对应着一个 worker 的 pid,idx 对应着图片在数据集中的下标。dataset_time 记录着我们从数据集中读取一个 batch 图片的时间,对应着上述的加载数据和图片解码两个操作;transform_time 对应着数据 transform 的时间;而 collate_time 对应着 collate 数据形成 batch 的时间。

之所以这里用 dataset_time 来指代加载数据和图片解码两个阶段是因为这两个工作同时在 dataset 内部完成,dataloader 难以侵入式的区分这两个过程。不过下面会介绍我们如何用另外的方法区分这两者。

而在这个例子中,可以看到数据读取过程中主要时间均花在 dataset 阶段,所以主要问题集中在原始数据读取亦或是图片解码,如何进一步区分问题呢?一般的经验是我们可以进一步观察 cpu 的利用率,如果主要时间花在等待数据读取也就是 IO 上,那么 cpu 的利用率一般不会很高,大部分时间在等待,而如果主要时间花在图片解码上,那么一般此时 cpu 利用率会很高。如此我们就可以对瓶颈的原因做进一步区分。对于前者,主要瓶颈在 IO 上,那么我们在编写 Dataset 代码时,可以考虑使用异步 IO 来缓解 IO 瓶颈 cpu 等待的问题;而对于后者我们可以使用一些高性能的图像编解码库来替换原来的编解码流程。

而如果 transform_time 占比较大的话,则意味着训练所使用的数据预处理/数据增强比较复杂,我们可以分析此部分代码中涉及的计算是否可以用更高性能的 numpy/MegEngine 算子去代替,或者使用 gpu 去做图像预处理,又或者简化预处理相关的操作等手段进行优化。

collate_time 时间较长的情况一般比较少见,主要出现在我们 collate batch 时,会在一个 batch 内部各个图片之间做比较复杂的 data mixup 之类的操作,不过优化思路和优化 transform_time 时间是一致的。

简而言之,如果模型训练过程中的性能瓶颈定位在 data 部分,那么使用 data monitor 就可以快速定位具体问题的发生位置,从而帮助我们后续选择合适的手段高效解决问题!

附

更多 MegEngine 信息获取,您可以:查看文档、 深度学习框架 MegEngine 官网和 GitHub 项目,或加入 MegEngine 用户交流 QQ 群:1029741705

Docker “docker login“ 失败? 登录阿里云镜像仓库仓库 unauthorized: authentication required 文章目录听说你 login fail?来,让我们解决一下!登录,撒花 听说你 login fail? 美滋滋的在服务器上安装完成Docker应用,开始配置阿里云镜像加速?然后被阿里云官方文档蹂躏?别急别急,让我来拯救你。 我们先来看看 阿里云官方文档 Docker镜像基本操作: 好家伙,emmm… 上来直接就Login Succeeded,这不简直so easy?我们也来照着操作操作: docker@default-online:~$ docker login registry.cn-hangzhou.a 阅读详情

相关推荐

WPS JS宏实战:批量调整200个Word表格格式的避坑指南(附完整代码)

本文提供了一份详尽的WPS JS宏实战指南,针对批量调整大量Word表格格式的需求。文章深入解析了如何利用JS宏自动化设置字体、行距和边框,并重点解决了常见的“首行访问报错”等核心难题,附有可直接使用的完整代码,帮助用户显著提升文档处理效率。

weixin_29280219的博客 431

两步优化PyTorch DataLoader加载速度

在PyTorch中使用Dataloader加载大量图片时,常因解码慢和数据供给不足导致GPU空闲。通过改用jpeg4py加速JPG解码,并实现预取机制提前加载下一批数据,显著提升数据 pipeline 效率,实测加载速度从7.5秒降至2.25秒,大幅减少等待时间。

weixin_35706255的博客 637

一口气看完TransformerXL详细解释带代码一:相对位置编码

相对位置编码(Relative Position Encoding)是Transformer模型中用于捕捉序列元素间相对位置关系的一种方法,与绝对位置编码(如BERT中的固定位置嵌入)不同,它直接建模元素之间的相对距离,从而更灵活地处理长序列或不同长度的序列。1. 为什么需要相对位置编码?​。

m0_73426548的博客 1427

PyTorch DataLoader多线程加载数据性能优化

深度学习训练中常因数据供给不足导致GPU利用率低下。通过合理配置DataLoader的num_workers、pin_memory等参数,结合预取与持久化worker机制,可显著提升数据加载效率。配合容器化环境,实现高效、稳定的端到端训练流水线,真正发挥硬件算力。

weixin_36311421的博客 355

万象RK3506-EG1800网关使用说明

摘要:HD-RK3506-EG1800是一款高性能工业物联网边缘计算网关,支持Buildroot和Ubuntu双系统。文档详细介绍了网关的网络配置(包括ETH0/ETH1的静态IP设置、WiFi连接)、时钟同步、HSL软件安装配置(含开机自启动服务)、系统日志优化以及刷机操作指南(Loader/Maskrom模式)。特别提供了基于lighttpd的网页管理方案,通过HTML界面实现网络参数可视化配置,包含身份验证、实时状态显示和表单提交功能。网关默认ETH0固定IP为192.168.1.10,提供完整的CL

tian_jiangnan的博客 179

【硬件开源实战】STM32G070RBT6开发板从设计到避坑全解析

本文全面解析了STM32G070RBT6开发板从硬件设计到避坑的实战经验。详细介绍了电源设计、时钟电路、PCB布局等关键环节,分享了成本控制、焊接测试、软件开发和外设驱动的实用技巧,帮助开发者高效完成项目开发。

weixin_26897585的博客 246

Node DataLoader优化数据层

作用: 1、批处理(将相同操作合并一起处理,减少与数据库的交互) 2、缓存(缓存查询对象,减少数据库查询,不过数据更新变动之后需清除缓存) 区别: 与Redis, Memcache, DataLoader实例是在请求开始时创建的,并且一旦请求结束, 就不会使用,数据不会被整个应用共享 使用: new DataLoader(batchLoadFn [, options])(创建一个lo...

zdluoa的博客 720

Amesim基础篇-元件详解-流体库管路

Amesim基础篇-元件详解-流体库管路

2201_75375391的博客 4525

dataloader合理设置num_works和batchsize 避免爆内存

dataloader合理设置num_works和batchsize,避免爆内存1.内存2.显存总结 个人总结,禁止以任何形式的转载!! 1.内存 1)dataloader会开启num_works个进程,如图所示:(这里设置的是6) 2)以图片为例,每个worker通过主进程获得自己需要采集的图片id(id的顺序由sampler或shuffle得到)。然后每个worker开始采集一个batch的数据,存放在内存中。(因此增大num_workers,内存占用也会增加。因为每个worker都需要缓存一个bat

qq_41917697的博客 1万+

SAP 物料账前期没有运行的解决方法

If you use the actual costing (material ledger), you must have completely closed all period-end closing operations in the actual costing for the penultimate period prior to the period shift. Use the '...

含笑饮砒霜死后更嚣张 3320

基于STM32设计的心率脉搏测量仪(项目资料ID:9)

本设计基于STM32F103单片机开发了一款便携式心率脉搏测量仪,通过光电传感器采集脉搏信号,经放大(约1200倍)、滤波(低通及四阶低通滤波)、比较及偏置电压调理后,由STM32进行ADC采样与数据处理。硬件采用Altium Designer设计,包含信号调理电路(限定心率范围43.4-800次/分钟)及电源管理模块;软件基于STM32CubeMX开发,利用队列存储和时间间隔平均算法优化精度,实现多终端显示(OLED实时心率/动画、MATLAB波形分析、蓝牙传输至手机)。系统支持自动启停(检测脉搏启

以培养嵌入式工程师为己任 1万+

<span class=“js_title_inner“>MegEngine 优化 dataloader 使用体验!data monitor 帮助更好定位性能瓶颈</span>

一般的经验是我们可以进一步观察 cpu 的利用率,如果主要时间花在等待数据读取也就是 IO 上,那么 cpu 的利用率一般不会很高,大部分时间在等待,而如果主要时间花在图片解码上,那么一般此时 cpu 利用率会很高。等到 T2,batch1 准备好了,gpu 上会用 batch1 进行计算,同时 cpu 也不会闲着,而是会准备 batch2 的数据,后面的都是类似的,也就是 cpu 和 gpu 彼此之间不会互相等待,两个资源都得到了最大限度的利用。但实际上,大多数时候问题发生在模型的数据供给逻辑中。

旷视开发者技术社区 169

一文读懂服务器带外管理

服务器带外管理(Out-of-Band Management)是指在服务器正常运行时,通过专门的管理通道对服务器进行监控、配置和控制,而无需依赖服务器的主操作系统

小熊猫的博客 6141

深度学习数据加载优化:MegEngine Data Monitor工具详解

在深度学习训练过程中,数据加载环节(DataLoader)的性能直接影响模型训练效率。传统调试方法往往依赖经验猜测,而现代解决方案如MegEngine Data Monitor通过非侵入式监控和可视化分析,实现了从数据读取到预处理的全程性能观测。该工具能智能识别IO瓶颈、计算密集型操作等关键问题,并提供针对性优化建议。结合热门的GPU利用率优化和CV项目实践,开发者可以快速定位数据管道中的性能瓶颈,如数据增强耗时、内存映射效率等问题,显著提升训练速度。通过实际案例可见,合理使用监控工具能使迭代时间稳定性提升

weixin_33827731的博客 477

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

深度学习数据加载优化:MegEngine Dataloader性能提升指南

在深度学习训练流程中,数据加载环节(dataloader)的性能优化常被忽视,却直接影响GPU利用率和训练效率。现代dataloader通过多级缓存机制(内存/磁盘/原始数据)和智能预取策略(prefetch)等技术,显著减少IO等待时间。以ImageNet为例,优化后的缓存命中率可达90%以上。MegEngine框架提供的data monitor工具能实时监控加载时间、GPU等待时间等关键指标,帮助开发者快速定位性能瓶颈。合理设置num_workers参数(建议CPU核心数2-4倍)和transform处

weixin_29058331的博客 282

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Pytorch加速Dataloader提升数据读取速度

出处:https://zhuanlan.zhihu.com/p/66145913 在利用DL解决图像问题时,影响训练效率最大的有时候是GPU,有时候也可能是CPU和你的磁盘。 很多设计不当的任务,在训练神经网络的时候,大部分时间都是在从磁盘中读取数据,而不是做 Backpropagation 。这种症状的体现是使用 Nividia-smi 查看 GPU 使用率时,Memory-Usage 占用率很...

xiangxianghehe的博客 2万+

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

解决pytorch中Dataloader读取数据太慢的问题

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录前言一、造成的原因二、查找不匹配的原因三、解决方法四、使用方法后言 前言 最近在使用pytorch框架进行模型训练时遇到一个性能问题,即数据读取的速度远远大于GPU训练的速度,导致整个训练流程中有大部分时间都在等待数据发送到GPU,在资源管理器中呈现出CUDA使用率周期性波动,且大部分时间都是在等待数据加载。 一、造成的原因 其实从前言中就可以知道,造成这样的原因可以理解为:GPU的算力与数据加载速度之间的不匹配。 二、查找不.

Twilightzsj的博客 2万+

RNNoise-SpeexDSP-WebRTC使用说明

本文介绍RNNoise、SpeexDSP与WebRTC音频处理库的下载、调用及参数配置方法,适用于Android语音工程集成。RNNoise基于深度学习,适合非稳态噪声降噪,需48kHz输入;SpeexDSP支持多采样率与回声消除,适用于全双工场景;WebRTC提供轻量级窄带处理。三者可串联使用:麦克风信号先经前级降噪(RNNoise或SpeexDSP),再进入WebRTC媒体引擎进行编码。重点说明各库的典型应用场景、接口调用方式、关键参数调节策略及采样率转换注意事项,帮助开发者高效集成与优化语音处理链路。

知识共享,你我皆是知识的搬运工 239

Transformer 为什么能取代 RNN?从自注意力讲起

2017 年谷歌在《Attention Is All You Need》中提出 Transformer,核心是。它如今是 GPT、BERT、ChatGPT 的共同底座。

anew___的博客 979

基于深度学习的商品评论情感分析系统-毕业设计

面向商品评论的中文情感分析系统,支持单条预测、批量分析、情感分布与关键词、报告导出。TextCNN、BiLSTM、Transformer 在同一词表、同一数据切分、同一种子与超参下公平对比,测试集 F1 分别为 0.9101、0.9089、0.9075。结论是这一规模下模型复杂度未带来收益,但误差结构不同。附技术栈、截图、文档预览与演示视频。

csbysj2020 158

【原创深度学习项目】基于深度学习的建筑工地防护装备检测系统|安全帽与反光衣检测系统(RT-DETR-L 模型)

本文设计并实现了一套基于RT-DETR-L的建筑工地防护装备检测系统,采用Django+Vue前后端架构,实现对安全帽、反光背心等7类装备及“无PPE”“未戴安全帽”等缺失状态的精准识别。系统支持图片、视频、摄像头实时检测,具备参数可调、数据可视化与统计分析功能,有效解决小目标漏检、误检及管理难问题,助力智慧工地安全管理落地。文末可获取源码。

qq_1445749146的博客 232

图解循环神经网络(RNN)

RNN(循环神经网络)就是“带记忆的网络”:让网络拥有一块“记忆”,在处理当前数据时,能同时参考之前看过的内容;它不一次性看完全部输入,而是像人读书一样,一个字一个字地读,每读一个字就更新一次脑子里的记忆,然后用这份记忆去理解当前这个字。但便签一直在被改写,新信息不断挤占旧信息,传到第 40 步时,“巴黎”的痕迹已经淡得几乎没了。读到“贵”的时候,网络并没有重新去查“好看”这个词——但“好看”的影响已经融在了便签里(那个 1.5)。这三个困难的共同点:答案不在当前这一个字里,而在“前面那串东西”里。

技术管理两手抓,两手都要硬. 427

神经网络入门指南:从 CNN、RNN 到 Attention

神经网络的学习,本质是“预测—比较—纠错”的循环;CNN 通过局部连接与权重共享理解图像;RNN 通过隐藏状态传递上下文;LSTM 和 GRU 用门控机制管理记忆;Encoder–Decoder 把理解与生成拆成两个阶段;Attention 则让模型在每一步都能主动寻找最相关的信息。到这里,我们已经走完了从普通神经网络到 Attention 的完整路线。下一篇将正式进入 Transformer,看看它如何摆脱 RNN 的顺序计算,又如何让每个 Token 直接找到与自己相关的信息。

爱敲代码的小黄 398

AI 学习第 15 课:变长序列不 pack 直接喂 RNN,隐状态全被 0 污染

NLP 的 batch 里句子长短不一,短句垫 0 补齐后直接喂 RNN,看似能跑,实际上每个 0 垫步都在更新隐状态——短序列的最后一步输出根本不是它真实句子的结果。这一课用 torch 2.15(

aifannihao的博客 161
上一篇: MegEngine 正式支持 XLA 啦!
下一篇: MegEngine 版本最新发布!新增支持寒武纪思元系列 AI 芯片训练和推理
MegEngine_Bot
博客等级 码龄3年 169粉丝 19原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值