昇腾AI处理器软件栈--运行管理器（Runtime）

神经网络构造中，算子组成了不同应用功能的网络结构。而张量加速引擎(Tensor Boost Engine)作为算子的兵工厂，为基于昇腾AI处理器运行的神经网络提供算子开发能力，用TBE语言编写的TBE算子来构建各种神经网络模型。同时，TBE对算子也提供了封装调用能力。在TBE中有一个优化过的神经网络TBE标准算子库，开发者可以直接利用标准算子库中的算子实现高性能的神经网络计算。除此之外，TBE也提供了TBE算子的融合能力，为神经网络的优化开辟一条独特的路径。

TBE提供了基于TVM开发自定义算子的能力，通过TBE语言和自定义算子编程开发界面可以完成相应神经网络算子的开发，TBE的结构如下图所示，包含了特性语言(Domain-Specific Language，DSL)模块、调度(Schedule)模块、中间表示(Intermediate Representation，IR)模块、编译器传递(Pass)模块以及代码生成(CodeGen)模块。

运行管理器在软件栈中上下文关系如上图所示，在运行管理器上层为TBE提供的TBE标准算子库和离线模型执行器。TBE标准算子库为昇腾AI处理器提供神经网络需要使用到的算子，离线模型执行器专门用来进行离线模型的加载和执行。运行管理器下层是驱动，与昇腾AI处理器进行底层交互。

如上图所示，运行管理器对外提供各种