ONNXRuntime是微软开源的高性能推理引擎，支持ONNX格式的模型在多种硬件上运行，包括CPU、GPU和MAC。ONNX作为统一的模型格式，促进了不同深度学习框架之间的互操作性。而TensorRT是NVIDIA的优化库，用于在GPU上加速深度学习推理，提供低延迟和高吞吐量。两者都致力于模型部署的效率和性能优化。
onnxruntime
- 官方介绍：https://baijiahao.baidu.com/s?id=1619064549798705268&wfr=spider&for=pc
个人笔记/理解：
当地时间12月4日，微软在GitHub上宣布ONNX Runtime开源 。
ONNX Runtime是适用于Linux，Windows和Mac上ONNX格式的机器学习模型的高性能推理引擎。
也就是onnxruntime是一套可以推理onnx格式模型的推理引擎（代码），可以运行在CPU、GPU以及MAC上面，可以兼容python、C#、C接口等。
ONNX 是微软与Facebook和AWS共同开发的深度学习和传统机器学习模型的开放格式。
也就是ONNX是一种规范定义的模型格式。因为深度学习框架实在很多，tf、pytorch、paddlepaddle、keras、caffe等，无法统一，那只能先统一格式，然后使用一套高效代码进行推理。这个统一格式就是ONNX格式，这一套高效代码就是ONNXRUNTIME。
很多业界领先的企业都在积极将自己的技术与ONNX Runtime实现集成和整合，使自己的服务能够完整支持ONNX规范，同时实现性能的最优化。比如英特尔（CPU加速）、英伟达（GPU加速）
高通AI业务高级主管Gary Brotman表示：“ONNX Runtime的推出和开源是微软提升跨设备类别框架的互操作性，实现标准化和性能优化的积极一步，我们希望开发人员欢迎在骁龙移动平台上支持ONNX Runtim
最低0.47元/天 解锁文章
扫一扫
8568
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
