算法模型部署评估步骤

算法模型部署评估

常规步骤

1 模型转换

1.1 pytorch to ONNX/TF to ONNX/ONNX to 平台使用的方式（选取能够支持的opset version ）格式

1.2 识别出不支持的算子

1.3 缺失的算子开发

1.4 自定义算子开发

2 量化

2.1 PTQ后量化

2.2 量化感知训练

2.3 混合精度

3 性能优化

3.1 High Level pipeline优化分析

3.2 分析影响延迟的子图/操作

3.3 优化网络架构，改善延迟

4 精度调优

5 并行度提升（适用于平台部署多个网络）

5.1 同时运行多个网络

5.2 将网络切分合理分配硬件资源

6 资源占用分析

6.1 CPU 资源占用

6.2 GPU 资源占用

6.3 DDR 资源占用

6.4 PCIe 资源占用（如有）

6.5 NPU资源占用