embedded-ai.bench 使用教程

embedded-ai.bench 使用教程

embedded-ai.bench benchmark for embededded-ai deep learning inference engines, such as NCNN / TNN / MNN / TensorFlow Lite etc. 项目地址: https://gitcode.com/gh_mirrors/em/embedded-ai.bench

1. 项目介绍

embedded-ai.bench 是一个用于嵌入式AI深度学习推理引擎的基准测试项目。该项目支持多种推理引擎，如 NCNN、TNN、MNN 和 TensorFlow Lite 等。它的目的是为不同的嵌入式设备上的AI推理性能提供一个公平、公正的测试和比较平台。

2. 项目快速启动

以下步骤将帮助您快速启动并运行 embedded-ai.bench 项目：

环境准备

确保您的开发环境中已安装以下工具：

• Python 3.8
• Conda (推荐)
• Git
• ADB (用于与Android设备通信)

克隆项目

首先，克隆项目到本地环境：

git clone https://github.com/AI-performance/embedded-ai.bench.git
cd embedded-ai.bench

编译推理引擎

项目支持多种推理引擎的编译，以下是编译NCNN的示例：

cd ./ncnn
./build_ncnn_android.sh
cd ..

根据需要，您可以编译其他引擎，如MNN、TNN或TensorFlow Lite，方法类似。

运行基准测试

编译完成后，您可以通过以下命令运行基准测试：

python bench.py

根据需要调整配置文件 ./core/global_config.py 中的参数，如 GPU_REPEATS、CPU_REPEATS、WARMUP 等。

清理测试结果

测试完成后，您可以使用以下脚本清理结果：

./clean_bench_result.sh

3. 应用案例和最佳实践

在 embedded-ai.bench 中，您可以找到多种模型和推理引擎的基准测试结果。以下是一些最佳实践：

• 在进行测试前，确保您的设备已正确连接并开启了开发者模式。
• 根据您的设备性能，合理配置测试参数，以获取更准确的测试结果。
• 在测试不同的推理引擎时，注意对比它们的性能和资源消耗。

4. 典型生态项目

以下是 embedded-ai.bench 生态中的一些典型项目：

• tnn-models：包含为TNN推理引擎转换的模型。
• mnn-models：包含为MNN推理引擎转换的模型。
• ncnn-models：包含为NCNN推理引擎转换的模型。
• tflite-models：包含为TensorFlow Lite推理引擎转换的模型。

通过这些典型项目，您可以更好地了解如何为不同的推理引擎准备和转换模型。

embedded-ai.bench benchmark for embededded-ai deep learning inference engines, such as NCNN / TNN / MNN / TensorFlow Lite etc. 项目地址: https://gitcode.com/gh_mirrors/em/embedded-ai.bench