【tvm官网教程01】设计和架构-2-runtime

1. runtime系统

TVM支持多种编程语言用于编译栈的开发和部署。

runtime需要解决的难题有：
部署：从python / javascript / c ++语言调用已编译的函数。
调试：在python中定义一个函数，然后从已编译的函数中调用该函数。
链接：编写驱动代码以调用device专用代码（如CUDA），然后从已编译的host函数中调用它。
原型：从python定义一个IR pass，并从C ++后端调用它。
开放：使用C ++开发的编译器栈到前端（例如python）
实验：将已编译的函数运送到嵌入式设备以在其中直接运行。

TVM希望能够用任意语言定义函数，并用另一种语言调用。TVM还希望最小化运行时core以将其部署到嵌入式设备。

1.1 PackedFunc

PackedFunc是上述问题的一个简单但优雅的解决方案。

python调c++

#include <tvm/runtime/packed_func.h>

void MyAdd(TVMArgs args, TVMRetValue* rv) {
   
   
  // automatically convert arguments to desired type.
  int a = args[0];
  int b = args[1];
  // automatically assign value return to rv
  *rv = a + b;
}

void CallPacked() {
   
   
  PackedFunc myadd = PackedFunc(MyAdd);
  // get back 3
  int c = myadd(1, 2);
}

MyAdd是type-erased的，它并没有指定输入、输出数据类型。
在调用myadd时，PackedFunc将入参打包到TVMArgs，再从TVMRetValue中取出返回值。
以上设计，得益于c++的模板机制。

由于它具有类型擦除的特性，因此我们可以从动态语言（如python）调用PackedFunc：

// register a global packed function in c++
TVM_REGISTER_GLOBAL("myadd")
.set_body(MyAdd);

import tvm

myadd = tvm.get_global_func("myadd") # python
print(myadd(1