rl小透明

深度学习编译器强调优化，深度学习推理框架强调部署 深度学习编译器实现了从深度学习框架（tensorflow等等）到部署到硬件的过程。 编译器其实跟推理框架很相近 编译器scheduler的作用主要在于优化 Relay将前端模型变成TVM可以识别的Graph IR ...

TensorRT OpenVINO mnn ncnn 深度学习训练框架： Google的TensorFlow和FaceBook的Pytorch是全球主流的深度学习框架，另外亚马逊的MxNet，百度的Paddle，旷视的MegEngine，华为的Mindspore以及一流科技的OneFlow 深度学习前向推理框架： 在Intel的CPU/GPU上就使用OpenVINO，在Arm的CPU/...

什么是TensorRT TensorRT是可以在NVIDIA各种GPU硬件平台下运行的一个C++推理框架。我们利用Pytorch、TF或者其他框架训练好的模型，可以转化为TensorRT的格式，然后利用TensorRT推理引擎去运行我们这个模型，从而提升这个模型在英伟达GPU上运行的速度。速度提升的比例是比较可观的。 说回TensorRT本身，TensorRT是由C++、CUDA、python三种语言编写成的一个库，其中核心代码为C++和CUDA，Python端作为前端与用户交互。当然，TensorRT