【科普文章】当下工业界广泛使用的几种深度学习模型部署技术

1. TensorFlow Serving：

是 Google 推出的 TensorFlow 模型部署和服务化框架，能够将 TensorFlow 模型作为服务提供给客户端，并支持高效的多并发请求。

2. ONNX Runtime：

是 Microsoft 推出的深度学习推理引擎，支持 ONNX 模型的跨平台部署和优化。

ONNX源码

3. TensorRT：

是 NVIDIA 推出的针对 NVIDIA GPU 的高性能深度学习推理库，能够通过优化和裁剪神经网络来提高推理性能，并且支持 FP32、FP16 和 INT8 精度下的推理。

4. TFLite：

是 Google 推出的针对移动和嵌入式设备的轻量级深度学习推理库，可以将 TensorFlow 模型转换为 TFLite 模型以在移动设备上运行。

5. OpenVINO：

是 Intel 推出的深度学习推理引擎，支持多种硬件架构（CPU、GPU、VPU）和多个框架（TensorFlow、Caffe、ONNX 等），适用于边缘设备和 IoT 应用。

6. TVM：

是一个基于 LLVM 的深度学习编译器和运行时系统，可以针对不同硬件架构生成高效的代码，并支持多种深度学习框架。