呆呆的猫的博客

本文主要介绍神经网络在部署时的量化

在深度学习模型落地的过程中，会面临将模型部署到边端设备的问题，模型训练使用不同的框架，则推理的时候也需要使用相同的框架，但不同类型的平台，调优和实现起来非常困难，因为每个平台都有不同的功能和特性。如果需要在该平台上运行多种框架，则会增加复杂性，所以 ONNX 便派上了用场。可以通过将不同框架训练的模型转换成通用的 ONNX 模型，再进而转换成各个平台支持的格式，就可以实现简化部署。一、什么是 ONNXONNX 是 Open Neural Network Exchange 的简称，也叫开放神经网络交换，.