Tiramisu：一种基于Polyheral的深度学习模型编译器_polyhedral 编译调度算法-优快云博客

本文链接：https://blog.youkuaiyun.com/csdndevpress0035/article/details/132187996

Tiramisu是一款基于Polyhedral模型的深度学习模型编译器，它通过用户定义的DSL进行调度生成。Tiramisu使用4层IR表示算法，从高层的算法描述到低层的设备代码生成。与依赖分析和区间分析的调度生成技术相比，Tiramisu提供了一种非自动化但更具表达力的方法，特别适合优化计算密集型任务，如深度学习和图像处理。在基准测试中，Tiramisu在CPU和GPU上表现出色，尤其在卷积、图像处理任务上与Intel MKL和Halide竞争，甚至在某些情况下超越它们。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 推理引擎编译模型的一般过程

业界主流的深度学习推理引擎，如TensorRT、Tensorflow Lite、TVM等，均由两个主要组件构成：模型编译器和推理运行时，前者负责将模型编译为可运行于目标设备的IR/代码，后者则负责在目标设备上导入编译后的IR/代码并执行推理过程。很明显，模型编译器是否能生成合理运用设备资源的代码，是保证模型推理性能的关键。模型编译器编译模型的一般过程，就是将模型由高级表示，转换为一系列中间表示（IR）的过程。如下图，以TVM为例，这个过程是：原始模型->Relay IR（图级别IR）-> Tensor IR（算子级别IR）-> Runtime IR（运行时IR）。

TVM框架模型编译过程

其中，由Relay IR转化为Tensor IR的步骤称为“调度生成”，对于TVM以外的推理引擎，该步骤的名称可能有差异，但都是必须的。调度的关键在于从时间、空间两个维度上彻底挖掘计算资源的极限潜能：

时间维度上，任意时刻应尽可能地并行化数据无依赖关系的计算（CPU多物理核、GPU流处理器、CPU/GPU高级指令集），以避免不必要的串行计算
空间维度上，尽可能将计算所需的数据放置于存取速度最快的区域（CPU L1 Cache、GPU L1 Cache、GPU C-Cache、GPU共享内存等），减少数据读写时间

综上可知，推理引擎的核心在于模型编译器，模型编译器的核心在于调度过程的生成技术。

2. 调度生成技术的分类

调度过程是否合理直接决定了CodeGen生成的运行时代码的执行效率，目前业界的调度编译技术可以归纳到下表的四个象限中：

调度生成技术分类

	调度自动生成	调度非自动生成
依赖分析	PolyMage, Tensor, Comprehensions	AlphaZ,CHiLL,URUK,Tiramisu
区间分析	AutoScheduler(TVM)	Halide,AutoTVM

如上表，编译技术根据循环嵌套分析算法的不同可以分为基于依赖分析和基于区间分析的两大类：依赖分析也即传统编译器的应用仿射变换优化循环嵌套代码的多面体分析技术，由于深度学习模型的算子在推理阶段的循环控制流是静态可判定的，因此非常适合应用该技术优化计算过程；相比依赖分析，区间分析针对图像处理领域的常用计算（针对图像矩阵的卷积、池化操作）简化了循环计算过程为循环轴对齐，即简化依赖分析的多面体抽象为长方体抽象，以牺牲一定的资源利用为代价简化常用算子的编译过程。

两者相比，基于依赖分析的Polyhedral模型的调度描述更加细化、表达力更强，理论上可以将优化做到极致，但缺点是算法原理相对复杂且优化分析的复杂度更高；而基于区间分析的调度模型的优势在于，其在图