TensorFlow Lite源码解析

秋水墨色

已于 2022-07-26 10:33:44 修改

阅读量796

点赞数

分类专栏：无人驾驶文章标签： tensorflow python 人工智能

于 2022-07-26 09:46:47 首次发布

本文链接：https://blog.youkuaiyun.com/sdw5723118/article/details/125981991

版权

无人驾驶专栏收录该内容

24 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

TensorFlow Lite 是轻量级的 TensorFlow 版本，适用于移动和嵌入式设备。它不支持模型训练，但支持通过 Delegate 使用 GPU、NNAPI 等加速器进行加速。本文介绍了 TFLite 推理过程，包括加载模型、创建 Interpreter、使用 Delegate 加速、准备输入数据和获取结果。预训练模型如 MobileNets 适合移动端应用。TFLite 调用加速器涉及节点替换和绑定加速器句柄。此外，TensorFlow Profiler 可用于评估模型性能和诊断瓶颈。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

TensorFlow Lite是专门针对移动和嵌入式设备的特性重新实现的TensorFlow版本。相比普通的TensorFlow，它的功能更加精简，不支持模型的训练，不支持分布式运行，也没有太多跨平台逻辑，支持的op也比较有限。TensorFlow Lite使用运行于移动端，有些设备甚至是资源非常有限，因此在内存和解析方面必须尽可能减少开销。TensorFlow导出的模型使用的是Protocol Buffer协议，因此有必要将它转换到性能更优的FlatBuffer格式。

可以通过多个Delegate使用多个加速器做加速的，只要我们在Interpreter实例化之后以及调用Interpreter.Invoke()之前依次初始化不同类型的Delegate，例如GPU、NNAPI等的Delegate，并且使用interpreter->ModifyGraphWithDelegate(delegate)对这些Delegate一一注册便可以。

TFLite进行推理主要分为以下几步：

1. 加载模型文件。

2. 创建一个类Interpreter的实例。在这个过程中，推理引擎会对模型进行解析、分配模型运行过程中需要的内存空间以及确定模型中各个层之间的执行顺序。

3. 通过Delegate使用加速器做加速。

4. 准备输入数据，这个需要根据模型要求的输入格式做对应的处理；

5. 调用Interp