onnxruntime
- 官方介绍:https://baijiahao.baidu.com/s?id=1619064549798705268&wfr=spider&for=pc
个人笔记/理解:
当地时间12月4日,微软在GitHub上宣布ONNX Runtime开源 。
ONNX Runtime是适用于Linux,Windows和Mac上ONNX格式的机器学习模型的高性能推理引擎。
也就是onnxruntime是一套可以推理onnx格式模型的推理引擎(代码),可以运行在CPU、GPU以及MAC上面,可以兼容python、C#、C接口等。
ONNX 是微软与Facebook和AWS共同开发的深度学习和传统机器学习模型的开放格式。
也就是ONNX是一种规范定义的模型格式。因为深度学习框架实在很多,tf、pytorch、paddlepaddle、keras、caffe等,无法统一,那只能先统一格式,然后使用一套高效代码进行推理。这个统一格式就是ONNX格式,这一套高效代码就是ONNXRUNTIME。
很多业界领先的企业都在积极将自己的技术与ONNX Runtime实现集成和整合,使自己的服务能够完整支持ONNX规范,同时实现性能的最优化。比如英特尔(CPU加速)、英伟达(GPU加速)
高通AI业务高级主管Gary Brotman表示:“ONNX Runtime的推出和开源是微软提升跨设备类别框架的互操作性,实现标准化和性能优化的积极一步,我们希望开发人员欢迎在骁龙移动平台上支持ONNX Runtim