MegEngine 正式支持 XLA 啦!

MegEngine 动态执行引擎-Imperative Runtime 概述 MegEngine 凭借其训练推理一体、超低硬件门槛和全平台高效推理 3 大核心优势,帮助企业与开发者大幅节省产品从实验室原型到工业部署的流程,真正实现小时级的转化能力。 阅读详情

XLA(Accelerated Linear Algebra)是 Google 提出的一个神经网络编译器,可以用于加速 AI 模型的训练和推理。MegEngine 1.13.1 中也已经支持了 XLA,在训练模型时可以选择开启此项功能,不同的模型可以获得 10%~80% 不等的速度提升。

主要的目标场景

MegEngine 现在是动态执行的,即 python 中每一个 mge.functional 的调用都对应着底层 gpu 上的一次 kernel 执行。这种模式的好处在于实际的执行方式与代码逻辑一致,所见即所得,非常的灵活;不过其问题是难以优化,性能可能不是最优。

而 XLA 采取静态执行的方式,会将模型计算过程表达成一张静态计算图,称为 “HLO” (High-Level Optimized)。HLO 中包含计算图的相关操作,张量的数据流程和形状等信息。XLA 随后会对 HLO 进行一系列的优化,并最终生成一个更优的计算图,从而更快的完成计算。而 XLA 的局限性就在于不够灵活,对于 Tensor Shape 改变或者控制流等信息无法很好的表达。

现在 MegEngine 中已经支持了 XLA,模型训练中一些比较静态的场景,我们可以使用 XLA 来进行加速,从而缩短整个训练过程的时间。

使用方法与效果

在使用 MegEngine 进行训练时,可以通过对原来的训练函数增加 xla_trace/partial_trace 装饰器来启用 XLA 编译优化。

当整个模型是完全静态时,我们可以使用 xla_trace 将整张网络表达成一张静态图,然后交由 XLA 做后续的优化编译,后续的执行过程将执行这张优化后的计算图提升速度。

而如果我们模型中有一些动态性,比如训练过程中一些 Tensor Shape 会发生变化,亦或者是存在控制流,我们可以使用 partial_trace,将网络中静态的部分 trace 成一些子图并分别交给 XLA 进行编译优化,而网络中其他部分仍然保持动态执行,同时保证性能与灵活性。

下面展示了在 MegEngine 中,XLA 功能开启前后,主流的神经网络模型性能变化。其中蓝色为 XLA 开启之前的训练速度,橙色为 XLA 开启之后的训练速度。在开启 XLA 后,大部分模型的性能可以获得 10%~40% 的提升,最多可以超过 80%。
1.png

关于 xla 的更多信息及具体的使用方法可以参考 https://www.megengine.org.cn/doc/stable/zh/user-guide/model-development/jit/xla.html。

Models:采用MegEngine实现的各种主流深度学习模型 MegEngine模型 本仓库包含了采用实现的各种主流深度学习模型。 目录下提供了各种经典的图像分类,目标检测,图像分割以及自然语言模型的官方实现。每个模型同时提供了模型定义,推理以及训练的代码。 官方会一直维护下代码,保持适应MegEngine的最新API,提供最优的模型实现。同时,提供替代的学习文档,帮助新手学习如何在MegEngine下训练自己的模型。 概述 对于每个模型,我们提供了至少四个脚本文件:模型定义( model.py ),模型推理( inference.py ),模型训练( train.py ),模型测试( test.py )。 每个模型目录下都柏林对应有一个README ,介绍了模型的详细信息,并详细描述了训练和测试的流程。例如。 另外, official下定义的模型可以通过megengine.hub来直接加载,例如: import megengine.hub # 只 立即下载

相关推荐

《MegEngine 开源一周年架构回顾》_MegEngine Meetup No.2.pdf

《MegEngine 开源一周年架构回顾》_MegEngine Meetup No.2.pdf

MegEngine深度学习框架教程

**MegEngine** 是一款高效、灵活且用户友好的深度学习框架,它支持快速训练和推理,具备统一的模型处理机制,从量化、动态形状/图像预处理到单一模型中的微分计算。该框架旨在降低硬件门槛,优化内存利用,确保在包括GPU在内的多种平台上实现高性能低内存占用的推断。通过其详尽的文档和社区支持,开发者可以轻松上手,并在多个领域实施复杂的机器学习任务。 ## 2. 项目快速启动 要迅速启动并运行M...

gitblog_00094的博客 1164

SPSS27 paired t-test 中的Cohen’s D – Effect Size for T-Test

两组数据是相关的且是连续的。

moonlightpeng的博客 912

深度学习框架【Megengine】的安装

本文简介安装megengine深度学习框架,下边开始对深度学习框架megengine进行介绍和使用。

ctu_sue的博客 2404

2023电赛B题实战解析:基于立创天空星开发板的同轴线缆长度与负载测量系统

本文详细解析了2023年全国大学生电子设计竞赛B题的实战方案,重点介绍了基于立创EDA天空星开发板(STM32F103)的同轴线缆长度与负载测量系统。文章深入剖析了两种核心测量方案,并推荐了更稳定易实现的NE555测电容法,提供了从硬件选型、电路设计到软件编程、参数标定的完整“施工图”,实测精度可达厘米级和皮法级,为电赛复现与高精度测量学习提供了清晰指导。

weixin_36303305的博客 234

PWM控制技术+Simulink仿真详解

想要理解SVPWM控制技术,首先要了解PWM控制技术。 PWM控制技术就是对脉冲宽度进行调制的技术,通过对一系列脉冲宽度进行调制来等效获得所需要的波形(包括形状和幅值)。 PWM控制的基本原理:冲量(窄脉冲的面积)相等而形状不同的窄脉冲加在具有惯性的环节上时,其效果(输出响应波形)基本相同,即面积等效原理;用一系列幅值相等,宽度按一定规律变化的高频脉冲序列代替期望的输出波形,多用于逆变电路的控制; PWM信号生成的方法有:计算法、调制法、跟踪法,主要对调制法进行详解 ...

小师兄的学习记录 5万+

Web 上运行深度学习框架模型 - MegEngine.js

在近日发布的《开源深度学习框架项目参与指北》文末,我们提到了 MegEngine 在社区开发者的帮助下,已实现了MegEngine.js—— MegEngine javascript ...

旷视开发者技术社区 5133

从零配置到稳定运行:A4988步进电机驱动模块的实战避坑指南

本文详细介绍了A4988步进电机驱动模块的配置与优化技巧,涵盖硬件连接、电流调节、微步设置及散热优化等关键环节。通过实战经验分享,帮助用户避开常见陷阱,实现步进电机的稳定运行,特别适合单片机开发者和3D打印机爱好者参考。

weixin_28452161的博客 170

PyTorch-VAE:如何在条件变分自编码器中实现可控图像生成?

想要掌握深度学习中的可控图像生成技术吗?PyTorch-VAE项目为你提供了一个完美的学习平台!这个基于PyTorch的变分自编码器集合专注于可重复性,特别适合对生成模型有兴趣的研究者和开发者。今天,我们将重点介绍ConditionalVAE——一个能够根据标签生成特定类别图像的强大模型,让你实现真正的可控图像生成。 ## 为什么你需要了解条件变分自编码器?✨ 在传统图像生成模型中,你无法控制

gitblog_00290的博客 570

告别误唤醒!S32K3xx低功耗设计避坑指南:Fast Standby模式与WISR寄存器操作详解

本文深入解析了NXP S32K3xx系列MCU在低功耗设计中常见的误唤醒问题,并提供了基于Fast Standby模式的解决方案。文章重点剖析了DCMRWF5寄存器的配置方法、WISR/WISR_64唤醒中断状态寄存器的标志位处理策略,以及如何利用32KB Standby SRAM保存唤醒状态,从而帮助开发者构建稳定可靠的汽车电子低功耗系统。

weixin_29163857的博客 366

【ESP 保姆级教程】第三方库篇 ——TimeLib库,一个非常Nice的时间库,结合第三方进行校正时间

Time,这是一个为Arduino提供时间支持的库。 这个库的例子中会教会我们多种方式去获取时间: - 一个`RTC`时钟 - 网络`NTP`时间 - `GPS`时间

单片机菜鸟哥的博客 3677

<span class=“js_title_inner“>MegEngine 正式支持 XLA 啦!</span>

而如果我们模型中有一些动态性,比如训练过程中一些 Tensor Shape 会发生变化,亦或者是存在控制流,我们可以使用 partial_trace,将网络中静态的部分 trace 成一些子图并分别交给 XLA 进行编译优化,而网络中其他部分仍然保持动态执行,同时保证性能与灵活性。当整个模型是完全静态时,我们可以使用 xla_trace 将整张网络表达成一张静态图,然后交由 XLA 做后续的优化编译,后续的执行过程将执行这张优化后的计算图提升速度。了解关于 XLA 的更多信息及具体的使用方法。

旷视开发者技术社区 212

【AI智能体】Claude Code +Superpowers 项目实战操作详解

Claude Code +Superpowers 项目实战操作详解

congge 4056

MegEngine 11-12 双月报:新版本发布,开发者福利课程,MegEngine 使用技巧,精彩不容错过!

新版本发布,开发者福利课程,MegEngine 使用技巧,精彩不容错过!

MegEngine_Bot的博客 389

PCB板Gerber文件的理解和制作

Gerber文件是PCB生产的关键文件,主要包括:1)走线层(GTL/GBL);2)阻焊层(GTS/GBS);3)丝印层(GTO/GBO);4)板框层(GMx/GKO);5)钢网层(Gtp/GBp);6)钻孔文件(NCdrillFiles)。其中1-10项和15项钻孔文件必须提供,建议包含11-14项辅助钻孔层。Gerber文件不含过孔属性,需提前在AD中设置过孔盖油。导出步骤包括:导出非机械层、机械层和钻孔层,新版AD可通过"文件->制造输出->GerberFiles"操作

qq_37999850的博客 854

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

MegEngine多平台推理终极指南:如何在x86、Arm、CUDA上获得最佳性能

MegEngine是一个快速、可拓展、易于使用且支持自动求导的深度学习框架,专门为多平台推理优化设计。作为业界领先的深度学习框架,MegEngine提供了完整的跨平台推理解决方案,让开发者能够在x86、Arm、CUDA等各种硬件平台上获得极致性能。💪 ## 🔥 为什么选择MegEngine进行多平台推理? MegEngine的多平台推理能力是其核心竞争力之一。框架通过深度优化的计算后端,为

gitblog_00356的博客 766

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

【从零开始学深度学习编译器】二,TVM中的scheduler

0x0. 前言 在【从零开始学深度学习编译器】一,深度学习编译器及TVM 介绍我们已经知道TVM可以将各种深度学习训练框架的模型(计算图)导入Relay,然后调用build接口自动生成target代码如c,llvm等。在深度学习编译器中,自动代码生成是和Graph IR表示同等重要的概念,而scheduler又是自动代码生成的核心概率,本篇文章就结合TVM源码来探索一下scheduler。 ...

I good vegetable a! 1941

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

分享实录上篇:利用 MegEngine 分布式通信算子实现复杂的并行训练

在3月25日的MegEngine Meetup中,旷视研究院周亦庄讲师分享了《利用 MegEngine 分布式通信算子实现复杂的并行训练》。分享内容主要分为四个部分:1、 介绍 MegE...

旷视开发者技术社区 775

完成 10W+小目标的 MegEngine,迎来了开源 2 周年

春风拂面,暖春来袭的三月,不只带来了春天的温暖,绿色的盎然生气,也迎来了 MegEngine 开源两周年。从2020 年到 2022 年,不仅是 MegEngine 成长的两年,也是每一位开发者在 MegEngine 里肆意挥洒大胆创意的两年。你还记得那些我们共同书写过的有趣故事吗?是刚接触时的迷茫让你反复查看了无数次新手文档?是洋洋洒洒数万字的技术文章带给了你灵感?还...

旷视开发者技术社区 1389

MegEngine 框架设计

MegEngine 框架设计 MegEngine 技术负责人许欣然将带了解一个深度学习框架是如何把网络的定义逐步优化并最终执行的,从框架开发者的视角来看待深度学习。 背景 AI 浪潮一波又一波,仿佛不会算法就落后于时代。 深度学习框架处理了各种设备的计算细节、求导、计算优化序列的工作,而在动态、静态两套截然不同的世界中,这些步骤又各自有他们不同的优化点和瓶颈。 如何在中间获取一个高效的平衡呢?以及如何克服训练完的模型在推理部署中无数的坑(闻者落泪),那个堪称对此进行降维打击的“训练推理一体化”到为何物? 分

吴建明wujianming_110117 508

基于MegEngine实现图像分类【附部分源码及模型】

本文主要讲解基于megengine深度学习框架实现图像分类

ctu_sue的博客 1207

旷视深度学习框架MegEngine开源

Brain++是旷视自主研发的端到端人工智能算法平台。在总体架构上,旷视Brain++分为深度学习框架MegEngine、深度学习云计算平台MegCompute、以及数据管理平台MegData,分别针对框架、算力和数据三个核心要素。其中,最为核心、最引人瞩目、开发时间最长的深度学习框架MegEngine也将在三月份开源,各类SOTA模型和框架资源将面向开发者和高校师生使用。 MegEngine还...

专业主义 4220

MegEngine 架构系列:静态内存分析

在正式进入本文前,先通过一组简单的对比来直观地感受一下,静态内存优化带来的内存占用上的提升。分别对 1batch/128batch 的 vgg16/resnet50/mobilenetv2...

旷视开发者技术社区 448

工程之道,MegEngine推理性能极致优化之综述篇

MegEngine「训练推理一体化」的独特范式,通过静态图优化保证模型精度与训练时一致,无缝导入推理侧,再借助工业验证的高效卷积优化技术,打造深度学习推理侧极致加速方案,实现当前业界最快运行速度。本文从推理侧的数据排布(Inference Layout)讲起,接着介绍MegEngine的Im2col+MatMul、Winograd、Fast-Run工程优化实践。经典的轻量卷积神经网络实验表明,经过MegEngine加速,ResNet18和ResNet50最高加速比可达2x以上,ShuffleNet V...

旷视开发者技术社区 1390

MegEngine 天元 深度学习框架发布

国内即百度paddlepaddle 发布之后,旷视科技又发布了MagEngine 深度学习框架。目前仅仅支持ubuntu 系统。python 3.5 以上。cuda 10.0。目前代码已在github上开源,地址是https://github.com/MegEngine 目前试验了一下物体检测的代码。在服务器上运行发现,多卡运行有点问题。 ...

ewqapple的博客 1107
上一篇: 编译器上手指南,算子开发及开源项目指导手册,直播课程报名通道限时开启!
下一篇: MegEngine 优化 dataloader 使用体验!data monitor 帮助更好定位性能瓶颈
MegEngine_Bot
博客等级 码龄3年 169粉丝 19原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值