Ascend CANN/ACL API 模型部署加速最佳实践

1. 模型输入相关问题

图像尺寸信息

• 模型输入尺寸由原始模型决定，在转换时固定
• 图像尺寸信息是模型固有属性，不是转换时添加的
• 对于使用动态尺寸，可以在推理时自动根据当前的输入尺寸推导输出尺寸。

输入格式(NCHW/NHWC) --input_format

• 不同框架默认格式不同：
  • Caffe: 支持NCHW、ND（表示支持任意维度格式，N<=4）两种格式，默认为NCHW。
  • ONNX: 支持NCHW、NCDHW、ND（表示支持任意维度格式，N<=4）三种格式，默认为NCHW。
  • TensorFlow: 支持NCHW、NHWC、ND、NCDHW、NDHWC五种输入格式，默认为NHWC。
  • MindSpore: 仅支持NCHW。
  • 如果原始模型中含有带data_format入参的算子，则该参数必填，推荐取值为ND，模型转换过程中会根据data_format属性的算子，推导出具体的format。若用户无法确定输入数据格式，则推荐指定为ND。
• 可通过input_format参数在转换时指定

数据类型

• 默认输入类型由原始模型决定
• 输出默认为FP32，可通过out_n