机器学习编译入门课程学习笔记第一讲机器学习编译概述_machine learning compilation(1)

最新推荐文章于 2025-03-08 23:38:15 发布

2401_84183726

最新推荐文章于 2025-03-08 23:38:15 发布

阅读量842

点赞数 25

分类专栏：程序员文章标签：大数据面试学习

本文链接：https://blog.youkuaiyun.com/2401_84183726/article/details/138763689

版权

程序员专栏收录该内容

118 篇文章

订阅专栏

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

#mermaid-svg-oOdiHFZjjEDO3GoU {font-family:“trebuchet ms”,verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-oOdiHFZjjEDO3GoU .error-icon{fill:#552222;}#mermaid-svg-oOdiHFZjjEDO3GoU .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-oOdiHFZjjEDO3GoU .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-oOdiHFZjjEDO3GoU .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-oOdiHFZjjEDO3GoU .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-oOdiHFZjjEDO3GoU .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-oOdiHFZjjEDO3GoU .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-oOdiHFZjjEDO3GoU .marker{fill:#333333;stroke:#333333;}#mermaid-svg-oOdiHFZjjEDO3GoU .marker.cross{stroke:#333333;}#mermaid-svg-oOdiHFZjjEDO3GoU svg{font-family:“trebuchet ms”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-oOdiHFZjjEDO3GoU .label{font-family:“trebuchet ms”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-oOdiHFZjjEDO3GoU .cluster-label text{fill:#333;}#mermaid-svg-oOdiHFZjjEDO3GoU .cluster-label span{color:#333;}#mermaid-svg-oOdiHFZjjEDO3GoU .label text,#mermaid-svg-oOdiHFZjjEDO3GoU span{fill:#333;color:#333;}#mermaid-svg-oOdiHFZjjEDO3GoU .node rect,#mermaid-svg-oOdiHFZjjEDO3GoU .node circle,#mermaid-svg-oOdiHFZjjEDO3GoU .node ellipse,#mermaid-svg-oOdiHFZjjEDO3GoU .node polygon,#mermaid-svg-oOdiHFZjjEDO3GoU .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-oOdiHFZjjEDO3GoU .node .label{text-align:center;}#mermaid-svg-oOdiHFZjjEDO3GoU .node.clickable{cursor:pointer;}#mermaid-svg-oOdiHFZjjEDO3GoU .arrowheadPath{fill:#333333;}#mermaid-svg-oOdiHFZjjEDO3GoU .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-oOdiHFZjjEDO3GoU .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-oOdiHFZjjEDO3GoU .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-oOdiHFZjjEDO3GoU .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-oOdiHFZjjEDO3GoU .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-oOdiHFZjjEDO3GoU .cluster text{fill:#333;}#mermaid-svg-oOdiHFZjjEDO3GoU .cluster span{color:#333;}#mermaid-svg-oOdiHFZjjEDO3GoU div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:“trebuchet ms”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-oOdiHFZjjEDO3GoU :root{–mermaid-font-family:“trebuchet ms”,verdana,arial,sans-serif;}

转换

开发形态

部署形态

开发形态是指我们在开发机器学习模型时使用的形态。典型的开发形式包括用 PyTorch、TensorFlow 或 JAX(主要指的是深度学习学习模型)等通用框架编写的模型描述，以及与之相关的权重。

部署形态是指执行机器学习应用程序所需的形态。它通常涉及机器学习模型的每个步骤的支撑代码、管理资源（例如内存）的控制器，以及与应用程序开发环境的接口（例如用于Android 应用程序的Java API）。

在这里插入图片描述
不同的AI应用对应的部署环境是互不相同的。以下图为例：电商平台不可或缺的推荐系统算法通常是部署在云平台(服务器)上；自动驾驶算法通常是部署在车辆上的专用计算设备；手机的各种APP以语音转文字的输入法为例，最终是部署在手机上的计算设备的。
在这里插入图片描述
在进行机器学习模型部署时，不仅要考虑硬件系统环境，与此同时也需要考虑软件环境(如操作系统环境、机器学习平台环境等)。

4. 机器学习编译的目标

机器学习编译的直接目标包括两点：最小化依赖和利用硬件加速。机器学习编译的最终目的是实现性能(时间复杂度、空间复杂度)优化。

最小化依赖可以认为是集成(Integration)的一部分，提取出与应用相关的库(删除与应用无关的库)，从而减少应用的大小，达到节省空间的目的。

利用硬件加速指的是利用硬件本身的特性进行加速。可以通过构建调用原生加速库的部署代码或生成利用原生指令（如 TensorCore）的代码来做到这一点。

5. 为什么要学习机器学习编译？

构建机器学习部署的解决方案。
对现有机器学习框架形成更加深刻的理解。

6. 机器学习编译的核心要素

张量 (Tensor) 是执行中最重要的元素。张量是表示神经网络模型执行的输入、输出和中间结果的多维数组。
张量函数 (Tensor functions) 神经网络的“知识”被编码在权重和接受张量和输出张量的计算序列中。我们将这些计算称为张量函数。值得注意的是，张量函数不需要对应于神经网络计算的单个步骤。部分计算或整个端到端计算也可以看作张量函数。也就是说，不仅单个函数可以认为是张量函数，也可以把其中一部分(或者整个整体)看作是张量函数。

在这里插入图片描述
下图中举了个实际的例子，第一个linear层和relu计算被折叠成一个linear_relu 函数，这需要有一个特定的linear_relu的详细实现。

6.1. 备注：抽象和实现

对同样的目标有不同颗粒度的表示。例如对linear_relu而言，既可以使用左边两个框图进行表示，也可以用右边的循环进行表示。
在这里插入图片描述
我们使用抽象 (Abstraction)来表示我们用来表示相同张量函数的方式。不同的抽象可能会指定一些细节，而忽略其他实现(Implementations)细节。例如，linear_relu 可以使用另一个不同的 for 循环来实现。