MegEngine Python 层模块串讲(中)

MegEngine Python 层模块串讲(上) 本文介绍 Python 层的 data 模块。读者将通过本文了解到要构建数据 pipeline 所需要的对象,以及如何高效地构建 pipeline。 阅读详情

在前面的文章中,我们简单介绍了在 MegEngine imperative 中的各模块以及它们的作用。对于新用户而言可能不太了解各个模块的使用方法,对于模块的结构和原理也是一头雾水。Python 作为现在深度学习领域的主流编程语言,其相关的模块自然也是深度学习框架的重中之重。

模块串讲将对 MegEngine 的 python 层相关模块分别进行更加深入的介绍,会涉及到一些原理的解释和代码解读。Python 层模块串讲共分为上、中、下三个部分,本文将介绍 Python 层的 functional、module 和 optimizer 模块。理解并掌握这几个模块对于高效搭建神经网络非常重要。

Python 层计算接口 —— functional 模块

我们在定义网络结构时经常需要包含一些计算操作,这些计算操作就定义在 functional 中。

functional 中实现了各类计算函数,包含对很多 op 的封装,供实现模型时调用。

functional 中有些 op 完全是由 Python 代码实现,有些则需要调用 C++ 接口完成计算(没错,这里的计算就需要 MegDNN kernel)。对于后者,需要有机制确保我们的实现能够转发到底层正确执行,所以你在 functional 的许多 op 实现中会看到 builtin 和 apply:

  • builtin

    builtin 封装了所有的 op,我们在 functional 中通过 builtin.SomeOp(param) 的方式获得一个算子 SomeOp,param 表示获取 SomeOp 需要的参数。

  • apply

    通过 builtin 获取到 op 后,需要调用 apply 接口来调用 op 的底层实现进行计算。apply 是在 Python 层调用底层 op 的接口,apply 的第一个参数是 op(通过 builtin 获得),后面的参数是执行这个 op 需要的参数,都为 Tensor。在 imperative 中 op 计算通过 apply(op, inputs) 的方式向下传递并最终调用到MegDNN中的 kernel``。

Functional 中的许多 op 都需要通过 builtin 和 apply 调用底层 MegDNN 的 op 来进行计算操作。然而在实际的计算发生前,很多时候需要在 Python 层做一些预处理。

来看下面这个例子:

def concat(inps: Iterable[Tensor], axis: int = 0, device=None) -> Tensor:
    ...
    if len(inps) == 1:
        return inps[0]

    if device is None:
        device = get_device(inps)
    device = as_device(device)
    (result,) = apply(builtin.Concat(axis=axis, comp_node=device.to_c()), *inps)
    return result

这里 concat 方法先对输入 tensor 数量、device 在 python 层做了一些预处理,然后才调用 builtin 和 apply 向下转发。

而对于 diag 这个 op,无需预处理直接向下传递即可:

def diag(inp, k=0) -> Tensor:
    ...
    op = builtin.Diag(k=k)
    (result,) = apply(op, inp)
    return result

对于实现了对应 kernel 的 op,其在 imperative 层的实现通常非常的短。

上面 concat 和 diag 的 apply 调用会进入 py_apply 函数,并通过解析 Python 中的参数,将它们转换成 C++ 中的对应类型,然后调用 imperative::apply,进入 dispatch 层。

部分 functional 的 op 不直接调用 py_apply 而是有对应的 cpp 实现,比如 squeeze:

def squeeze(inp: Tensor, axis: Optional[Union[int, Sequence[int]]] = None) -> Tensor:
    return squeeze_cpp(inp, axis)

这样的实现往往是需要在调用 py_apply 之前做一些预处理,但使用 python 实现性能较差,所以我们将相关预处理以及 py_apply 的逻辑在 C++ 层面实现。

本文主要介绍 Python 层的方法,关于 C++ 部分的实现会在之后的文章进行更深入的介绍。

在这里我们只需要知道,functional 中包装了所有关于 Tensor 计算相关的接口,是所有计算的入口,实际的计算操作通常会被转发到更底层的 C++ 实现。

用户可以参考官方文档获取所有 functional 中的方法介绍。

模块结构的小型封装版本 —— module 模块

神经网络模型是由对输入数据执行操作的各种层(Layer),或者说模块(Module)组成。

Module 用来定义网络模型结构,用户实现算法时要用组合模块 Module (megengine/module) 的方式搭建模型,定义神经网络时有些结构经常在模型中反复使用,将这样的结构封装为一个 Module,既可以减少重复代码也降低了复杂模型编码的难度。

一个 module 类主要有两类函数:

  • __init__:构造函数,定义了模型各个层的大小。用户自定义的 Module 都源自基类 class Module,所以在构造函数中一定要先调用 super().__init__(),设置 Module 的一些基本属性。模型要使用的所有层 / 模块都需要在构造函数中声明。
class Module(metaclass=ABCMeta):
    r"""Base Module class.

    Args:
        name: module's name, can be initialized by the ``kwargs`` parameter
            of child class.
    """

    def __init__(self, name=None):
        self._modules = []

        if name is not None:
            assert (
                isinstance(name, str) and name.strip()
            ), "Module's name must be a non-empty string"

        self.name = name

        # runtime attributes
        self.training = True
        self.quantize_disabled = False

        # hooks
        self._forward_pre_hooks = OrderedDict()
        self._forward_hooks = OrderedDict()

        # used for profiler and automatic naming
        self._name = None
        self._short_name = None

    # 抽象方法,由继承的 Module 自己实现
    @abstractmethod
    def forward(self, inputs):
        pass
    
    # 其他方法
    ...
  • forward:定义模型结构,实现前向传播,也就是将数据输入模型到输出的过程。这里会调用 Functional (megengine/functional) 中的函数进行前向计算,forward 表示的是模型实现的逻辑。来看一个例子:
class Simple(Module):
    def __init__(self):
        super().__init__()
        self.a = Parameter([1.23], dtype=np.float32)

    def forward(self, x):
        x = x * self.a
        return x

__init__ 表明模型中有一个参数 a,它的初值是固定的,forward 中实现了具体的计算逻辑,也就是对传入的参数与 a 进行乘法运算。

对于一些更复杂的计算操作(如卷积、池化等)就需要借助 functional 中提供的方法来完成。

除了 __init__ 和 forward,基类 class Module 提供了很多属性和方法,常用的有:

  • def buffers(self, recursive: bool = True, **kwargs) -> Iterable[Tensor]:返回一个可迭代对象,遍历当前模块的所有 buffers;
  • def parameters(self, recursive: bool = True, **kwargs) -> Iterable[Parameter]:返回一个可迭代对象,遍历当前模块所有的 parameters;
  • def tensors(self, recursive: bool = True, **kwargs) -> Iterable[Parameter]:返回一个此 module 的 Tensor 的可迭代对象;
  • def children(self, **kwargs) -> "Iterable[Module]":返回一个可迭代对象,该对象包括属于当前模块的直接属性的子模块;
  • def named_buffers(self, prefix: Optional[str] = None, recursive: bool = True, **kwargs) -> Iterable[Tuple[str, Tensor]]:返回当前模块中 key 与 buffer 的键值对的可迭代对象,这里 key 是从该模块至 buffer 的点路径(dotted path);
  • def named_parameters(self, prefix: Optional[str] = None, recursive: bool = True, **kwargs) -> Iterable[Tuple[str, Parameter]]:返回当前模块中 key 与 parameter 的键值对的可迭代对象,这里 key 是从该模块至 buffer 的点路径(dotted path);
  • def named_tensors(self, prefix: Optional[str] = None, recursive: bool = True, **kwargs) -> Iterable[Tuple[str, Tensor]]:返回当前模块中 key 与 Tensor(buffer + parameter) 的键值对的可迭代对象,这里 key 是从该模块至 Tensor 的点路径(dotted path);
  • def named_modules(self, prefix: Optional[str] = None, **kwargs) -> "Iterable[Tuple[str, Module]]":返回一个可迭代对象,该对象包括当前模块自身在内的其内部所有模块组成的 key-module 键-模块对,这里 key 是从该模块至各子模块的点路径(dotted path);
  • def named_children(self, **kwargs) -> "Iterable[Tuple[str, Module]]":返回一个可迭代对象,该对象包括当前模块的所有子模块(submodule)与键(key)组成的 key-submodule 对,这里 key 是子模块对应的属性名;
  • def state_dict(self, rst=None, prefix="", keep_var=False):返回模块的状态字典,状态字典是一个保存当前模块所有可学习的 Tensor (buffer + parameter)的字典。出于兼容性考虑,字典中的 value 的数据结构类型为 numpy.ndarray (而不是 Tensor),并且不可修改,是只读的;
  • def load_state_dict(self, state_dict: Union[dict, Callable[[str, Tensor], Optional[np.ndarray]]], strict=True, ):加载一个模块的状态字典,这个方法常用于模型训练过程的保存与加载。

值得一提的是,Parameters 和 Buffer 都是与 Module 相关的 Tensor,它们的区别可以理解为:

  • Parameter 是模型的参数,在训练过程中会通过反向传播进行更新,因此值是可能改变的,常见的有 weight、bias 等;
  • Buffer 是模型用到的统计量,不会在反向传播过程中更新,常见的有 mean、var 等。

在 MegEngine 的 module目录 下可以看到已经有很多常见的 module 实现,用户实现自己的模型可以根据需要复用其中的模块。

使用 optimizer 模块优化模型参数

MegEngine 中的 optimizer 模块实现了基于各种常见优化策略的优化器,为用户提供了包括 SGD、ADAM 在内的常见优化器实现。这些优化器能够基于参数的梯度信息,按照算法所定义的策略执行更新。

大部分情况下用户不会自己实现优化器,这里以 SGD 优化器为例,优化神经网络模型参数的基本流程如下:

from megengine.autodiff import GradManager
import megengine.optimizer as optim

model = MyModel()
gm = GradManager().attach(model.parameters())
optimizer = optim.SGD(model.parameters(), lr=0.01)  # lr may vary with different model

for data, label in dataset:
    with gm:
        pred = model(data)
        loss = loss_fn(pred, label)
        gm.backward()
        optimizer.step().clear_grad()
  • 这里我们构造了一个优化器 optimizer,传入参数是 model 需要被优化的 Parameter,和 learning rate;

  • 优化器通过执行 step() 方法进行一次优化;

  • 优化器通过执行 clear_grad() 方法清空参数梯度。

    • 为何要手动清空梯度?

      梯度管理器执行 backward() 方法时, 会将当前计算所得到的梯度以累加的形式积累到原有梯度上,而不是直接做替换。 因此对于新一轮的梯度计算,通常需要将上一轮计算得到的梯度信息清空。 何时进行梯度清空是由人为控制的,这样可允许灵活进行梯度的累积。

用户也可以继承 class Optimizer,实现自己的优化器。

以上就是关于 functional,Module,optimizer 的模块的基本介绍,这几个模块是我们搭建模型训练的最核心的部分,熟悉这部分后,我们就可以高效搭建神经网络了。

MegEngine Python 层模块串讲(下) 本文将介绍 Python 层的 quantization 模块。量化是为了减少模型的存储空间和计算量,从而加速模型的推理过程。 阅读详情

相关推荐

numpy(1)-numpy.ndarray

lass numpy.ndarray(shape, dtype=float, buffer=None, offset=0, strides=None, order=None) 数组对象表示由固定大小的项目组成的多维同构数组。关联的数据类型对象描述数组中每个元素的格式(字节顺序、占用内存的字节数、它是整数、浮点数还是其他什么,等等)。 数组应该使用数组、零或空来构造(参见下面的部分)。这里给出的参数...

The research on computer technolog 521

MMYOLO | YOLO 系列算法开源工具箱推荐----玩转 MMYOLO 工具类第一期: 特征图可视化

MMYOLO 是一个基于 PyTorch 和 MMDetection 的 YOLO 系列算法开源工具箱。它是 OpenMMLab 项目的一部分。本文主要分析了 MMYOLO 中特征可视化用法。

qq_43000647的博客 6959

3天干完6个月的活,Claude把模型搬上AMD

一条挺刺激的消息:Anthropic 给投资人的材料里有一张幻灯片,写着它的 Claude Mythos Preview 只花了大约​,就摸清了怎么让另一个 Claude 模型在 AMD 的 MI355X 上跑起来。同一处还写了个对照数字:过去给一块新芯片做推理适配,通常要几十名工程师、​。3 天对 6 个月,这个比值太扎眼,当天中文互联网上就冒出一堆「英伟达的护城河塌了」的说法。我把能翻到的材料都翻了一遍,越看越觉得,塌掉的那一小块是真的,可塌的位置和很多人想的不一样。

DeepPing,日更,陪你聪明看世界。 455

[pytorch] monai Vit 网络 图文分析

monai Vit 网络 图文分析Vision Transformer (ViT)Network structure

qq_38736504的博客 4188

LabVIEW+数据库应用系列保姆级教程,第一篇数据库连接

目录LabVIEW连接数据库的方法连接MySQL连接Oracle,SQL Server,Access等 LabVIEW连接数据库的方法 1、创建udl(Universal Data Link)是通用数据连接文件。界面操作,简单快捷。 2、编写连接字符串。需要熟悉连接字符串的结构,容易出错。 3、其他… 本教程教你使用第1种方法,也是最简单、最常用的方法。 连接MySQL 1、在MySQL Installer内安装MySQL Connector/ODBC,建议安装32位(X86),如下图: 2、创建ODBC

wwplh5520370的博客 1万+

单细胞实战之数据净化三部曲:细胞周期校正、双胞体剔除与RNA污染清理——技术解析与实战指南

本文深入解析单细胞数据分析中至关重要的数据净化步骤,即细胞周期校正、双胞体剔除与RNA污染清理。通过实战代码演示与原理剖析,指导读者如何有效识别并去除技术噪音,从而获得更纯净、可靠的数据,为后续的细胞分群、差异表达等高级分析奠定坚实基础。

weixin_29274337的博客 207

【Python 学习笔记】optional[int]

【代码】【Python 学习笔记】optional[int]

cbldzz的博客 695

VIL-SLAM论文翻译:Stereo Visual Inertial LiDAR Simultaneous Localization and Mapping

文章目录写在前面摘要1.引言2.相关工作3.系统概述4.视觉前端5.双目视觉惯性里程计A. IMU预积分因子B. 非结构化视觉因子C. 优化和边缘化6. 激光建图A. LiDAR扫描去畸变B. 帧到地图配准7. LiDAR增强的闭环A. 回环检测B. 回环约束C. 全局位姿图优化D. 重定位8. 实验结果A.平台和软件B.测试和结果C. EuRoCMAV数据集测试9.结论 写在前面 写作参考: robot L 开源代码: 开源代码链接 论文原文: 原文链接 摘要 SLAM是移动和空中机器人的一项基本任务

JaydenQ的博客 2324

基于EVO的二次开发:读写轨迹文件

EVO中的file_interface.py中提供了多种轨迹读写函数,方便二次开发。

hanmoge的博客 1万+

Modbus 通信协议详解

Modbus是由 Modicon(现为施耐德电气公司的一个品牌)在 1979 年发明的,是全球第一个真正用于工业现场的总线协议。ModBus网络是一个工业通信系统,由带智能终端的可编程序控制器和计算机通过公用线路或局部专用线路连接而成。其系统结构既包括硬件、亦包括软件。它可应用于各种数据采集和过程监控。为更好地普及和推动Modbus在基于以太网上的分布式应用,目前施耐德公司已将Modbus协议的所有权移交给 IDA(,分布式自动化接口)组织,并成立了 Modbus-IDA 组织。

Projectsauron 的博客 7万+

c#窗体应用(.NET Framework)项目对Yaml文件进行写入与读取,Yaml数据转换成json

用到的技术与版本准备工作Yaml数据在C#中进行定义对Yaml文件的读取与写入代码的添加窗体控件控制操作写入数据到Yaml文件读取Yaml文件数据Yaml数据转换成json改进——对yaml文件读取时根据yaml文件中的键进行获取,对c#中怎么取名字无关yaml文件中多个数据读取遇到的问题总结的小点参考的文章在对Yaml文件进行读取前,先将Yaml文件中的数据结构在c#中进行定义,以便后面更好的读取。这里对这四个类型进行举例(这里为了想看看这四个类型到Yaml文件的格式是什么样子的)

永远年轻 1589

关于pyecharts各个全局配置项设置示例——个人内容整理与分享

坚持更新文章是我从计算机行业向一个作家转行的第一步,好,玩笑开完了,下面开始编写本次文章。 由于在使用pyecharts时我们有很多对图表的配置项设置需要用到全局配置项和系列配置项,因此在对pyecharts的图表进行介绍之前先进行全局配置项和系列配置项的介绍。 下面图片展示了pyecharts的部分配置项,方便观察作用之处: AnimationOpts:画图动画配置项 InitOpts:初始化配置项 初始化配置项,一般用在创建一个图标的时候,比如:bar =Bar(initopts=op

qq_57099024的博客 8759

基于深度强化学习的柔性作业车间动态调度

在追求敏捷和灵活的生产调度方面,处理不可预测的动态事件的能力变得越来越重要。与此同时,生产系统中的网络-物理融合产生了大量需要实时挖掘和分析的工业数据。为了便于这种实时控制,本研究提出了一种分层分布式的体系结构来解决动态柔性作业车间调度问题。采用双深度Q网络算法(DDQN)训练调度智能体,捕捉生产信息与调度目标之间的关系,为具有恒定任务到达的柔性作业车间实时做出调度决策。为了处理动态调度中问题的可变规格说明,提出了专门的状态和动作表示法。此外,还提出了一种代理奖励整形技术(surrogate reward

太剧烈的快乐与太剧烈的悲哀是有相同之点的——同样地需要远离人群! 1万+

MegEngine 7-8 双月报来啦:新版本发布,开发者福利课程,干货满满

MegEngine Python 层模块串讲(上)MegEngine Python 层模块串讲(中)MegEngine Python 层模块串讲(下)如有催更或投稿,欢迎联系我们哦~技术交流 QQ 群:1029741705;Bot 微信:megengine-bot。

MegEngine_Bot的博客 125

【数据分享】2012-2022年全国及各城市POI(兴趣点)数据(超20G)

POI(一般作为Point of Interest的缩写,也有Point of Information的说法),通常称作兴趣点,泛指互联网电子地图中的点类数据,基本包含名称、地址、坐标、类别四个属性;随着互联网电子地图服务与LBS应用的普及,POI无论从概念范畴,还是从信息纵深都有了长足发展,互联网各个风口或火山口都和POI有一定关系,如O2O、电商、社交、互联网金融、共享经济等。

J_Giser的博客 2743

k230+CanMV+micropython环境下byte、int、hex、string之间的转换常用函数实测

【代码】k230+CanMV+micropython环境下byte、int、hex、string之间的转换常用函数实测。

weixin_47446386的博客 120

函数详解-Python Numpy学习(3)

矩阵的用法Python Numpy学习(2)可能是最全的NumPy基础知识(1)1,np.ceil(x, y)  限制元素范围,进一法,即向上取整。  x 表示输入的数据 y floa...

bigzql的博客 2170

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

使用类型注解让 Python 代码更易读

“ 阅读本文大概需要 10分钟。 ”我们知道 Python 是一种动态语言,在声明一个变量时我们不需要显式地声明它的类型,例如下面的例子:a=2print('1+...

静觅 2552

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

Optional 详解

目录 Java 8 实战:用 Optional 取代 null 1、创建 Optional 对象 例子:Person、Car、Insurance 2、map 从Optional中提取、转换值 3、flatMap 链接 Optional 对象 4、读取 Optional 实例中的变量值 5、map、flatMap:以不解包的方式组合两个 Optional 对象 6、filt...

EVEcho的博客 1147

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

0_NumPy Ndarray 对象

NumPy 最重要的一个特点是其 N 维数组对象 ndarray,它是一系列同类型数据的集合,以 0 下标为开始进行集合中元素的索引。 ndarray 对象是用于存放同类型元素的多维数组。 ndarray 中的每个元素在内存中都有相同存储大小的区域。 ndarray 内部由以下内容组成: 一个指向数据(内存或内存映射文件中的一块数据)的指针。 数据类型或 dtype,描述在数组中的固定大小值的格...

博客 479

NumPy数据对象1 —— numpy.ndarray类种的属性和方法

NumPy中数组对象 ndarray 的特征。

weixin_43276033的博客 3367

python中union函数_Python中typing模块详解

Python中typing模块详解简介​Python是一门弱类型的语言,很多时候我们可能不清楚函数参数类型或者返回值类型,很有可能导致一些类型没有指定方法,在写完代码一段时间后回过头看代码,很可能忘记了自己写的函数需要传什么参数,返回什么类型的结果,就不得不去阅读代码的具体内容,降低了阅读的速度,typing模块可以很好的解决这个问题。​Python 运行时并不强制标注函数和变量类型。类型标注可被...

weixin_39675038的博客 5447

本地化部署 DeepSeek,构建单细胞与空间转录组 AI 分析平台

本地化部署 DeepSeek,构建单细胞与空间转录组 AI 分析平台

weixin_53637133的博客 187

【第 009 讲】全面掌握 Python 注释:注释的定义与作用 | 单行注释 | 三引号与多行注释 | 注释使用的最佳实践

本文系统讲解 Python 注释的完整知识体系:从注释的定义与作用讲起,梳理单行注释的书写位置、临时屏蔽用法与 PEP 8 排版规范,剖析注释被忽略的底层机制;进而说明三引号字符串的本质与嵌套问题;最后给出注释使用的三条实践原则,帮助读者写好可读性高的注释。

大模型全栈工程师 · Thanks_ks 1176

AI全栈实战 | 3.9-01 爬虫入门:requests 加 BeautifulSoup 三分钟跑通,但 90% 的人栽在这 4 个“礼貌“问题上

⚠️:本文内容仅用于。请遵守目标站点的服务条款与相关法律法规,不得对目标服务造成负担,不得采集、传播个人隐私数据。技术是中性的,边界在你手里。爬虫的入门技术(requests 发请求 + BeautifulSoup 解析)三分钟就能学会。真正区分"会用爬虫"和"会做爬虫的人"的,是这篇我们跑通"请求→解析→存储"的最小闭环,然后重点把"合规与礼貌"这根弦给你绷上。

源码获取 | 运行部署 | 定制二开修改,如果回复不及时请耐心等待,请见谅。 442

Python 的 yield from 到底转发了什么:拆开 send、throw 和那个 return 值

很多人把yield from记成「省一层 for 循环的语法糖」。写和写,结果看着一样,于是就当它只是少敲几个字。这个理解会在三个地方翻车:调用方.send()的值送不进去、子生成器return的值拿不到、异常和close()传不下去。yield from真正做的事是,外层生成器退成一个透明通道。本文所有输出来自本机 CPython 3.13.14 实测。yield from不是循环,是委托——nextsendthrowclose四个方向的流量全部直通子生成器,并且子生成器return。

小小张说故事的博客 163
上一篇: MegEngine Python 层模块串讲(上)
下一篇: MegEngine Python 层模块串讲(下)
MegEngine_Bot
博客等级 码龄3年 169粉丝 19原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值