【写在前面】 飞腾开发者平台是基于飞腾自身强大的技术基础和开放能力,聚合行业内优秀资源而打造的。该平台覆盖了操作系统、算法、数据库、安全、平台工具、虚拟化、存储、网络、固件等多个前沿技术领域,包含了应用使能套件、软件仓库、软件支持、软件适配认证四大板块,旨在共享尖端技术,为开发者提供一个涵盖多领域的开发平台和工具套件。 点击这里开始你的技术升级之旅吧
本文分享至飞腾开发者平台《飞腾X100 NPU Benchmark使用手册》
1 benchmark测试样例概况
1.1 介绍
benchmark测试样例旨在向用户提供,经过ncsdk转换编译的深度学习模型,在飞腾x100套件nna模块上运行。测试样例包含了常用的深度学习模型,以及相应的运行测试源码,用户可以根据本文档的说明直接运行源码,得到相应模型的性能参数。同时,用户可以参考测试源码,撰写代码,调用测试自己的模型。
1.2 文件目录
- 测试源码文件夹:该文件夹以模型名称命名,如resnet50, yolov5, inceptionv2等,文件夹中包括:
1)测试样例源码,以.py结尾的python程序;
2)转换编译完成的模型,以.mbs.bin结尾的文件,名称中的i32o32分别表示输入input位宽和输出output位宽,d16表示data内存位宽,w16d16分别表示权重weights位宽和偏置bias位宽;
3)源码运行所需的相关文件,部分模型的调用推理有额外需求,如retinanet中包含后处理相关的文件夹retinanet_post;
4)custom_ops_cfg_runtime.json:该文件中包含了部分算子的库文件说明,在测试样例中,nna session的构建需要用到该文件。 - nna文件夹:该文件夹包含了模型推理运行所需要的库文件,在运行程序前需要先export该文件夹。
- utils文件夹:该文件夹包含了部分模型推理前后处理的函数实现;
- coco_eval文件夹:该文件夹包含了coco数据集相关的文件以及评估相关的源码,在测试检测模型时会用到该文件夹中的内容。
- imagenet_class_index.json:imagenet验证数据集的类别标签映射,进行分类模型测试时,decode_predictions解析模型预测结果会用到该文件,decode_predictions会自动下载该文件,由于外网访问限制&#