ONNXRuntime、TensorRT扫盲

onnxruntime

1. 官方介绍：https://baijiahao.baidu.com/s?id=1619064549798705268&wfr=spider&for=pc

个人笔记/理解：
当地时间12月4日，微软在GitHub上宣布ONNX Runtime开源 。

ONNX Runtime是适用于Linux，Windows和Mac上ONNX格式的机器学习模型的高性能推理引擎。

也就是onnxruntime是一套可以推理onnx格式模型的推理引擎（代码），可以运行在CPU、GPU以及MAC上面，可以兼容python、C#、C接口等。

ONNX 是微软与Facebook和AWS共同开发的深度学习和传统机器学习模型的开放格式。

也就是ONNX是一种规范定义的模型格式。因为深度学习框架实在很多，tf、pytorch、paddlepaddle、keras、caffe等，无法统一，那只能先统一格式，然后使用一套高效代码进行推理。这个统一格式就是ONNX格式，这一套高效代码就是ONNXRUNTIME。

很多业界领先的企业都在积极将自己的技术与ONNX Runtime实现集成和整合，使自己的服务能够完整支持ONNX规范，同时实现性能的最优化。比如英特尔（CPU加速）、英伟达（GPU加速）

高通AI业务高级主管Gary Brotman表示：“ONNX Runtime的推出和开源是微软提升跨设备类别框架的互操作性，实现标准化和性能优化的积极一步，我们希望开发人员欢迎在骁龙移动平台上支持ONNX Runtim