如何阅读并学习 MegEngine 的代码

System Verilog学习笔记(十九)——覆盖率 覆盖率是用来衡量验证精度和完备性的数据指标。也可以告诉我们在仿真时设计的哪些结构被触发,哪些没被触发。高质量的验证需要满足以下三个条件。 阅读详情

旷视开源的深度学习框架 MegEngine,MegEngine 是一个快速、可拓展、易于使用且支持自动求导的深度学习框架。

以最新的 release 版本 release-1.13.0 为例介绍一下 MegEngine 的代码结构以及如何学习 MegEngine 的代码。

1. 编译

对于学习大型项目,我们建议源码编译项目而不是直接安装包,这样我们可以直接修改代码(并编译)再观察我们的改动的影响。

2. 从一个例子入手,自顶向下

大型项目动辄几千上万条 commit,代码行数也是几十万行起步,把每个 commit、每一行代码都看一遍对于个人开发者来说显然是不现实的。因此我们应该先从较为重要的、我们比较关心的文件入手,慢慢拓展我们对于项目的认知。

在 MegEngine 的官方文档中提供了一个用 MegEngine 实现手写数字识别的例子。

看了这个例子后,你可能会有以下疑问:

  • MegEngine 是如何获取数据集的呢?
  • MegEngine 如何对数据集进行处理?我又要如何实现自己的数据处理方法呢?
  • Functional 中的算子是如何完成计算的呢?GradManager 和 Optimizer 如何管理我的参数梯度呢?
  • 训练和推理出了问题,我又该如何调试呢?
  • …

每个开发者 / 用户的关注点都可能不同,Python 层作为深度学习框架的入口,我们可以从这里的代码学习起来:https://github.com/MegEngine/MegEngine/tree/master/imperative/python/megengine

粗略浏览一下目录结构,可以看到这里实现了很多 Python 层的接口,可以挑一个感兴趣的开始看,我们推荐从 functional 开始,这里实现了常用的算子,你也可以在这里添加算子。

比如我们的例子中用了 conv 算子,我们就可以跳转到这个算子的实现:https://github.com/MegEngine/MegEngine/blob/master/imperative/python/megengine/functional/nn.py#L224,通过阅读函数的注释我们可以知道每个参数都是做什么的,逐行读下来之后我们会发现这里做的最主要的一件事就是把参数扔到一个 builtin.Convolution 的东西之后去执行(apply)了。这里做的事是:python 层的算子实现需要调用 C++ 的算子实现,builtin.xxx 作为一个接口可以理解为让我们在 Python 程序中接入我们的 C++ 算子实现。这里可以参考 MegEngine 官方文档中关于添加算子的描述,找到我们关心的算子的实现,比如 conv:https://github.com/MegEngine/MegEngine/blob/master/imperative/src/impl/ops/convolution.cpp#L15。

直接看算子的 C++ 实现可能会一头雾水,这时候建议照着 MegEngine 的官方文档,自底向上看(MegDNN→Graph Runtime→Imperative Runtime):https://www.megengine.org.cn/doc/stable/zh/development/how-to/add-an-operator.html,因为上层要调用下层的实现。对于各模块作用以及调用关系感到困惑的话可以参考 MegEngine 的架构设计文档:https://www.megengine.org.cn/doc/stable/zh/development/architecture-design/index.html。

3. 如何进阶

了解了一个算子的 Python 实现向下到具体的硬件实现之后,你可能会有更多的疑问,你可能会对 MegEngine 如何提供基础设施支持上层的算法开发感到好奇,我们再看一眼 MegEngine 的架构设计图:

截屏20230816 13.49.53.png

不得不说单看图就可知这里涉及到的组件数量众多、调用关系复杂。个人是难以在短时间内掌握所有组件的架构细节的(更不可能把代码全看一遍了)。我们推荐根据架构图先简单了解各个模块的功能:每个模块的作用、与上下游其他模块之间的关系。在对于项目整体架构有了粗略把握之后,再对我们感兴趣的模块进行更深入的研究。

感兴趣的同学可以深入源码进行研究,可以边看代码边改、解决项目现有的 issues、为仓库贡献代码等都是很好的学习方式。

4. 寻求帮助

一个人学习大型项目难免会有非常多的疑问,在学习的过程中应当多查阅资料、多于他人交流。遇到困难时可以获得帮助的手段有:

欢迎参与 MegEngine 社区贡献,成为 Awesome MegEngineer,荣誉证书、定制礼品享不停。

软件产品国际化:前后端及App多语言版本解决方案(超详细实现过程) 多语言版本解决方案是应对全球化趋势的关键策略,它通过构建灵活且可扩展的架构,支持软件产品在不同语言和文化环境下的顺畅运行与展示。此方案涵盖了前端多语言界面实现、后端多语言数据处理及大数据环境下的多语言支持等多个层面,确保公司能够高效地推出适应全球用户多样化需求的软件产品。在前端多语言界面实现方面,解决方案采用了国际化与本地化的结合方法。国际化过程确保软件的功能和代码设计能够处理多种语言和文化习惯,而本地化则针对特定地区进行界面和内容的调整。 阅读详情

相关推荐

高通camx ThreadManager

m_pCore->AcceptNewJob是将一个Job或者任务插入一个Queue,有一个工作线程循环从Queue中取Job任务执行,执行任务就是回调任务中的callback函数,AcceptNewJob实现。调用AddToPriorityQueue将任务添加到queue任务队列,那么什么时候从这个queue中取任务执行呢?有个线程循环执行DoWork,最终调用checkAndDequeue取任务执行。

GetnextWindow的专栏 439

MegEngine深度学习框架教程

**MegEngine** 是一款高效、灵活且用户友好的深度学习框架,它支持快速训练和推理,具备统一的模型处理机制,从量化、动态形状/图像预处理到单一模型中的微分计算。该框架旨在降低硬件门槛,优化内存利用,确保在包括GPU在内的多种平台上实现高性能低内存占用的推断。通过其详尽的文档和社区支持,开发者可以轻松上手,并在多个领域实施复杂的机器学习任务。 ## 2. 项目快速启动 要迅速启动并运行M...

gitblog_00094的博客 1164

TLS回调函数–一文看懂(详)

TLS回调函数 CTF RE

Joyce_hjll的博客 3741

MegEngine 项目常见问题解决方案

MegEngine 是一个由国内团队开发的快速、可拓展、易于使用且支持自动求导的深度学习框架。它旨在为研究人员和开发者提供高效的深度学习解决方案。该项目主要使用 C++ 和 Python 编程语言。 ## 1. 项目基础介绍 MegEngine 的设计理念是为深度学习任务提供一套统一、高效的框架。它具备以下特点: - **统一框架**:既适用于训练也适用于推理。 - **量化支持**:支持动...

gitblog_00709的博客 964

微软登录OAuth 2.0授权流程

OAuth 2.0是一个关于授权的开放网络标准,它允许第三方应用获取用户数据,是目前最流行的授权机制。微软身份平台支持OAuth 2.0授权码流程,使得客户端应用程序能够获得对受保护资源(如网络API)的授权访问。这一流程在保障用户数据安全的前提下,实现了应用的便捷登录与数据共享。当用户在一个支持OAuth 2.0的应用上,希望使用微软账号进行登录时,OAuth 2.0授权流程即被触发。

qq_36569837的博客 4094

Calibre提参实战:如何用hcell和xcell文件精准屏蔽模块(附避坑指南)

本文详细解析了Calibre提参过程中hcell和xcell文件的应用技巧,帮助工程师精准屏蔽模块以优化寄生参数提取。通过对比hcell与xcell的核心差异、图形界面与命令行操作指南,以及常见问题排查方法,提升芯片后端设计效率。附避坑指南,解决EETOP论坛热议的模块丢失问题。

weixin_26795617的博客 441

Megengine量化

Megengine量化 量化指的是将浮点数模型(一般是32位浮点数)的权重或激活值用位数更少的数值类型(比如8位整数、16位浮点数)来近似表示的过程。 量化后的模型会占用更小的存储空间,还能够利用许多硬件平台上的专属算子进行提速。比如在 MegEngine 中使用8位整数来进行量化,相比默认的32位浮点数,模型大小可以减少为1/4,而运行在特定的设备上其计算速度也能提升为2-4倍。 量化的目的是为了追求极致的推理计算速度,为此舍弃了数值表示的精度,直觉上会带来较大的模型掉点,但是在使用一系列精细的量化处理之

吴建明wujianming_110117 833

避开ANSYS SOLID65钢筋模拟的坑:从材料TB到实常数R的完整配置清单

本文详细解析了ANSYS SOLID65单元在钢筋混凝土模拟中的关键配置与优化技巧,涵盖材料TB设置、实常数R配置及收敛性优化。特别针对钢筋建模的分布式钢筋模型进行深度解析,提供实战验证的参数设置手册,帮助工程师避免常见错误,提升模拟精度与效率。

weixin_30898555的博客 366

旷视天元 MegEngine 开源 CUDA INT4 量化源码实现

当下人工智能技术正加速发展,渗透到云、边、端和应用的各个层面,与海量IoT设备进行深度融合,不断拓展应用场景。然而在AIoT场景中,嵌入式设备往往算力有限,难以承载庞大的AI模型。如何在资源有限的终端场景实现 AI 模型的有效部署,是加速AI落地的重要问题。AI 工程师们研发了各种试图缩小模型大小并保持性能的办法,例如量化和蒸馏。其中,模型量化是将浮点计算转成低比特定点计算的一种模型压缩技术,可以...

旷视开发者技术社区 805

1.2 机器人控制系统软硬件平台

工业机器人的软硬件平台架构是影响工业机器人性能和效率的重要因素。良好的软硬件平台架构可以帮助工业机器人更加稳定和高效地完成工作,提高生产效率。正确的软硬件配置还可以提高工业机器人的灵活性和可靠性,使其能够更好地适应不断变化的生产环境。 同时,工业机器人的软硬件平台架构还可以影响工业机器人的安全性和维护成本。如果软硬件平台架构不合适,工业机器人可能出现故障或安全隐患,需要大量的维护和维修费用。因此,选择适当的软硬件平台架构对于确保工业机器人的高效运行和长期使用是非常重要的。

Galaxy_Robot的博客 2万+

Win10 开机突然蓝屏错误代码0xc0000001安全模式也进不了,不用重装系统怎么修复?(已解决)九个解决参考方案

Win 10专业版HP480G7。

本博客,博文仅代表个人操作经验,不能完全解决你的问题,仅供参考,佛系回复。 1万+

MegEngine/MegFlow 项目常见问题解决方案

MegEngine/MegFlow 项目常见问题解决方案 项目基础介绍 MegEngine 是一个高效的开源机器学习框架,专注于长尾需求。MegFlow 是 MegEngine 的一个子项目,它提供了一套用于构建、测试、调试、部署和可视化视频分析服务的工具和框架。MegFlow 特别适合处理视频流数据的机器学习任务,它使用 Python 和 Rust 两种主要编程语言来实现。 主要编程语言 Py...

gitblog_00893的博客 359

7.DJI-PSDK:psdk负载应用固件升级(基于RTOS)

在单片机应用程序开发阶段,我们可以借助keil5和J-LINK来直接下载应用程序进行开发和调试, 但在产品交付之后,我们对应用程序做了改动和升级,是断然不可能采用这种方式的,我们应该将新版本的程序固件打包发给客户, 能够方便用户通过DJI Assistant2选择更新负载设备的固件,导入本地固件程序包,更新负载设备。使用STM32F4 开发的负载设备从Flash 中直接读取固件文件并运行负载设备程序,因此开发者需先烧录Bootloader 再烧录应用固件,烧录Bootloader 的步骤不再赘述。

哒宰的博客 677

MegEngine 正式支持 XLA 啦!

XLA(Accelerated Linear Algebra)是 Google 提出的一个神经网络编译器,可以用于加速 AI 模型的训练和推理。MegEngine 1.13.1 中也已经支持了 XLA,在训练模型时可以选择开启此项功能,不同的模型可以获得 10%~80% 不等的速度提升。主要的目标场景MegEngine 现在是动态执行的,即 python 中每一个 mge.functional 的...

旷视开发者技术社区 655

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

MegEngine社区贡献指南:如何成为开源项目的活跃开发者

想要参与开源项目却不知道从何开始?MegEngine作为一款快速、可拓展、易于使用且支持自动求导的深度学习框架,为开发者提供了丰富的贡献机会。无论你是初学者还是经验丰富的开发者,都能在这个充满活力的社区中找到适合自己的位置。😊 ## 🚀 为什么选择为MegEngine做贡献? **MegEngine社区贡献**不仅能让你掌握深度学习框架的核心技术,还能: - 📚 **学习前沿技术**:

gitblog_00949的博客 876

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

翻倍争夺战 | MegEngine 论文复现赛启动啦!

点击“阅读原文”,直达活动页面

旷视开发者技术社区 173

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

实录 | MegEngine 大 Kernel 卷积工程优化实践

本篇整理自 3 月 19日 “Large Kernel Makes CNN Great Again” 专题 Meetup 中《MegEngine 大 Kernel 卷积工程优化实践》分享。点击文末“阅读原文”查看视频回顾,在进度条01:10:55 处哦。从卷积到矩阵乘矩阵乘(GEMM)具有计算密度大和易并行等优良特点,传统领域例如芯片产业和高性能计算领域往往将 GEM...

旷视开发者技术社区 637

一张图读懂天元MegEngine 2020-2021

2020年3月25号,我们将深度学习框架天元MegEngine开源,希望可以帮助开发者实现“深度学习、简单开发”。一年的时间里,天元MegEngine持续迭代,不断优化。点击阅读原文,了解...

旷视开发者技术社区 411

MegEngine TensorCore 卷积算子实现原理

温馨提示:文内代码和超链可点击文末“阅读原文”查看前言2020年5月Nvidia发布了新一代的GPU架构安培(Ampere)。其中和深度学习关系最密切的莫过于性能强劲的第三代的Tensor...

旷视开发者技术社区 907

MegEngine MegCC 开源项目教程

MegEngine MegCC 开源项目教程 一、项目目录结构及介绍 MegEngine MegCC 是一个基于 MegEngine 的编译器工具链项目,旨在提供高效的计算图编译和优化能力。以下是其基本的目录结构概述: . ├── cmake # CMake 相关配置文件,用于构建系统 ├── doc # 文档资料,可...

gitblog_00556的博客 477

MegEngine 工具链大盘点,让模型落地超 Easy!

在当今人工智能领域,深度学习算法已经广泛应用于图像处理、自然语言处理、语音识别等各种领域。然而,实现一个高效的深度学习算法需要运用大量的技术和工具,并要面临许多挑战,如训练计算资源消耗大,模型转换难,高效快捷的推理部署等。MegEngine 作为一个训推一体的深度学习框架,其生态工具集合了图像对比、模型转换、硬件性能优化、pipeline 搭建等多种功能,能够满足用户在多种场景下的需求,为算法的实...

旷视开发者技术社区 761

MegEngine Meetup 预告 | 听外部开发者聊 PyTorch 与 MegEngine 的那些事儿

自 2021 年 2 月起,我们推出了MegEngine Meetup活动,通过线上直播的方式和大家不定期见面,交流 MegEngine 技术团队最近在研究的那些好玩、炫酷的技术,欢迎...

旷视开发者技术社区 285

MegEngine安装全攻略:Windows、Linux、MacOS一站式解决方案

想要快速上手MegEngine深度学习框架,但被复杂的安装步骤困扰?别担心!这份完整指南将为你提供Windows、Linux、MacOS三大平台的详细安装教程,让你轻松开启深度学习之旅。MegEngine作为一款快速、可拓展、易于使用且支持自动求导的深度学习框架,在计算机视觉和AI应用开发中表现出色。 [![MegEngine品牌标识](https://raw.gitcode.com/gh_mi

gitblog_00355的博客 604

完成 10W+小目标的 MegEngine,迎来了开源 2 周年

春风拂面,暖春来袭的三月,不只带来了春天的温暖,绿色的盎然生气,也迎来了 MegEngine 开源两周年。从2020 年到 2022 年,不仅是 MegEngine 成长的两年,也是每一位开发者在 MegEngine 里肆意挥洒大胆创意的两年。你还记得那些我们共同书写过的有趣故事吗?是刚接触时的迷茫让你反复查看了无数次新手文档?是洋洋洒洒数万字的技术文章带给了你灵感?还...

旷视开发者技术社区 1389

旷视MegEngine TensorCore 卷积算子实现原理

点击下方卡片,关注“CVer”公众号AI/CV重磅干货,第一时间送达前言2020年5月Nvidia发布了新一代的GPU架构安培(Ampere)。其中和深度学习关系最密切的莫过于性能强劲的第...

阿木寺的博客 1259

旷视MegEngine框架开源一周年!聊聊动态图的演进和并行训练

本周四,新一期 MegEngine Meetup 来啦~恰逢 MegEngine 开源一周年,这一次想和大家聊聊过去一年 MegEngine 的架构演进之路,以及我们在性能优化上的一些探索...

阿木寺的博客 302
上一篇: MegEngine 11-12 双月报:新版本发布,开发者福利课程,MegEngine 使用技巧,精彩不容错过!
下一篇: MegEngine 使用小技巧:如何使用 MegCC 进行模型编译
MegEngine_Bot
博客等级 码龄3年 169粉丝 19原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值