[陈天奇]机器学习编译课程学习笔记

[陈天奇]机器学习编译课程学习笔记

---

第一节 机器学习编译概述

1、为什么要学习机器学习编译？

AI出现之前的传统应用软件和硬件关系较为简单，上层各种各样的app，依赖少一些的软件库，软件库的实现基于特定的几种语言，但是对应到底层的部署硬件，大多都是x86，arm这样的通用处理器。陈天奇总结的是典型的漏斗型，这个很形象。

但是在机器学习时代，AI软件不是传统意义的app，而是机器学习模型。同时还要求我们将机器学习模型部署在cpu、gpu、npu等各种asic上、甚至是集群环境下，由于有的模型的计算量很大，需要能够在部署的硬件上高效执行。
机器学习编译问题其实本质是机器学习的部署问题。编译过程是将机器学习模型的执行和优化从开发态转变到部署态。这个过程把机器学习模型拆解开来，从计算图执行、优化到计算库，以及底层os和硬件的加速接口等元素详细的拆解开来。

2、机器学习编译的目标是什么？

1、首先是整合和最小化相关的依赖；如何理解：整合主要是类似各种框架中提供的不同算子等大量资源，在具体的应用部署时只需要其中的一小部分资源，这里机器学习编译器可以进行相关的依赖识别，进行相关的整合，来实现高效的应用模型部署。另一种整合，是用户自定义算子和厂商提供的计算库之间的整合。
2、再次就是针对gpu、tpu等不同的部署硬件，进行针对性对的加速计算。
总的目标其实就是优化部署：减少内存使用，提高执行效率

机器学习编译不一定会涉及到代码的生成

3、MLC（Machine Learning Compilation）的关键元素

• Tensor：指一个多维的array，用来存储输入、输出以及模型的中间执行结果