embedded-ai.bench 项目使用教程

embedded-ai.bench 项目使用教程

embedded-ai.bench benchmark for embededded-ai deep learning inference engines, such as NCNN / TNN / MNN / TensorFlow Lite etc. 项目地址: https://gitcode.com/gh_mirrors/em/embedded-ai.bench

1. 项目的目录结构及介绍

embedded-ai.bench 项目是一个针对嵌入式AI深度学习推理引擎的基准测试项目。以下是项目的目录结构及各部分的简要介绍：

embedded-ai.bench/
├── .github/              # 存放GitHub工作流程文件
│   ├── workflows/
│   │   ├── pre-commit-job.sh
│   │   └── unit-test-job.sh
│   └── ...
├── bench.py              # 基准测试的主要脚本
├── clean_bench_result.sh # 清理基准测试结果的脚本
├── core/                 # 核心模块，包含全局配置和引擎接口
│   ├── engine_config.py
│   └── ...
├── docs/                 # 文档目录
├── LICENSE               # 项目许可证文件
├── models/               # 存放各种模型的目录
│   ├── tnn-models
│   ├── mnn-models
│   ├── ncnn-models
│   └── tflite-models
├── README.md             # 项目README文件
├── utils/                # 实用工具模块
├── ...

2. 项目的启动文件介绍

项目的启动文件是 bench.py。这个脚本负责执行基准测试的主要流程，包括：

• 加载配置文件
• 初始化各个推理引擎
• 加载模型
• 执行基准测试
• 收集并输出测试结果

要运行基准测试，你需要在命令行中执行以下命令：

python bench.py

3. 项目的配置文件介绍

项目的配置文件主要位于 core/global_config.py。这个文件包含了所有全局配置项，如：

• GPU_REPEATS：GPU测试的重复次数
• CPU_REPEATS：CPU测试的重复次数
• WARMUP：预热次数
• ENABLE_MULTI_THREADS_BENCH：是否启用多线程基准测试

在执行基准测试之前，可能需要根据实际情况调整这些配置项。例如，如果你想要增加GPU测试的重复次数，可以修改 GPU_REPEATS 的值。

# 示例：修改配置文件中的GPU测试重复次数
GPU_REPEATS = 1000

完成配置后，再次运行 bench.py 脚本以执行基准测试。

以上就是embedded-ai.bench项目的基本使用教程，希望对您有所帮助。

embedded-ai.bench benchmark for embededded-ai deep learning inference engines, such as NCNN / TNN / MNN / TensorFlow Lite etc. 项目地址: https://gitcode.com/gh_mirrors/em/embedded-ai.bench