OAID/Tengine 推理引擎快速入门教程

水菲琪

于 2025-06-09 09:05:51 发布

阅读量337

点赞数 4

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/gitblog_00658/article/details/148524855

OAID/Tengine 推理引擎快速入门教程

Tengine Tengine is a lite, high performance, modular inference engine for embedded device 项目地址: https://gitcode.com/gh_mirrors/ten/Tengine

前言

Tengine 是一款轻量级、高性能的神经网络推理引擎，专为嵌入式设备和边缘计算场景优化设计。本文将详细介绍 Tengine 的核心推理流程，帮助开发者快速上手使用该引擎进行模型推理。

核心推理流程概述

Tengine 的推理过程遵循一个清晰的工作流，主要包含六个关键步骤。这些步骤构成了一个完整的推理生命周期，从初始化到资源释放。下面我们将逐一解析每个步骤的功能和使用方法。

1. 初始化引擎 (init_tengine)

这是使用 Tengine 的第一步，也是整个程序中最先需要调用的函数。该函数负责初始化 Tengine 的运行环境，包括内存分配、硬件检测等底层准备工作。

重要特性：

只需在程序中调用一次
必须在其他 Tengine API 之前调用
线程安全，可以多线程环境下使用

2. 创建计算图 (create_graph)

计算图是 Tengine 中的核心概念，它代表了神经网络模型的结构和计算流程。这个步骤将模型文件加载到内存中，并构建内部的计算图表示。

支持模型格式：

支持多种主流框架模型格式
提供统一的接口处理不同来源的模型

3. 预运行准备 (prerun_graph)

这是推理前的关键配置阶段，开发者可以在此步骤中对推理过程进行精细化的性能调优。

配置选项详解：

struct options {
  int num_thread;    // 设置使用的CPU核心数量
  int cluster;       // 指定CPU集群类型
  int precision;     // 设置计算精度模式
  uint64_t affinity; // 核亲和性设置
};

参数说明：

num_thread：控制并行计算的线程数，合理设置可以充分利用多核CPU性能
cluster：支持以下选项：
- TENGINE_CLUSTER_ALL：使用所有核心
- TENGINE_CLUSTER_BIG：仅使用大核心
- TENGINE_CLUSTER_MEDIUM：使用中等核心
- TENGINE_CLUSTER_LITTLE：仅使用小核心
precision：精度模式选择，包括：
- TENGINE_MODE_FP32：32位浮点
- TENGINE_MODE_FP16：16位浮点
- TENGINE_MODE_HYBRID_INT8：混合精度
- TENGINE_MODE_UINT8：8位无符号整型
- TENGINE_MODE_INT8：8位有符号整型
affinity：通过位掩码指定具体的CPU核心绑定

4. 执行推理 (run_graph)

这是实际执行神经网络计算的核心步骤。在此阶段，Tengine 会根据预配置的参数和输入数据，执行完整的神经网络前向计算。

性能提示：

可以多次调用进行批量推理
输入数据需要预先准备好
输出结果会保存在指定的内存区域

5. 停止运行 (postrun_graph)

推理完成后，调用此函数释放计算图占用的运行时资源，但不销毁计算图结构本身。

典型使用场景：

临时暂停推理任务
准备重新配置计算图参数
保留计算图结构供后续重用

6. 销毁计算图 (destroy_graph)

这是推理生命周期的最后一步，彻底释放计算图占用的所有资源。

最佳实践：

通常在程序退出前调用
与postrun_graph配合使用
确保资源完全释放，避免内存泄漏

完整流程示意图

graph TD
    A(init_tengine) --> B[create_graph]
    B --> C[prerun_graph]
    C --> D[run_graph]
    D --> E[postrun_graph]
    E --> F(destroy_graph)
    F --> O(获取预测结果)