编译 TFLite 模型

边缘云上的高性能且安全的微服务 边缘云让开发者能够在靠近用户的地方部署微服务(即细颗粒度的 Web 服务),从而实现更好的用户体验(即非常快的响应时间)、绝佳的安全性以及高可用性。边缘云利用本地乃至私有的数据中心、CDN 网络和电信数据中心(例如 5G MEC)来提供计算服务。边缘云的成功案例包括 Cloudflare、Fastly、Akamai、fly.io、Vercel、Netlify 等。但是,与大型公共云相比,边缘云是一个资源受限的环境。如果边缘微服务本身运行缓慢、臃肿或不安全,将导致在边缘云上部署的全部优势丧失殆尽。 阅读详情

本篇文章译自英文文档 Compile TFLite Models
作者是 FrozenGene (Zhao Wu) · GitHub
更多 TVM 中文文档可访问 →Apache TVM 是一个端到端的深度学习编译框架,适用于 CPU、GPU 和各种机器学习加速芯片。 | Apache TVM 中文站

本文介绍如何用 Relay 部署 TFLite 模型。

首先安装 TFLite 包。

# 安装 tflite
pip install tflite==2.1.0 --user

或者自行生成 TFLite 包,步骤如下:

# 获取 flatc 编译器。
# 详细可参考 https://github.com/google/flatbuffers,确保正确安装
flatc --version

# 获取 TFLite 架构
wget https://raw.githubusercontent.com/tensorflow/tensorflow/r1.13/tensorflow/lite/schema/schema.fbs

# 生成 TFLite 包
flatc --python schema.fbs

# 将当前文件夹路径(包含生成的 TFLite 模块)添加到 PYTHONPATH。
export PYTHONPATH=${PYTHONPATH:+$PYTHONPATH:}$(pwd)

用 python -c “import tflite” 命令,检查 TFLite 包是否安装成功。

有关如何用 TVM 编译 TFLite 模型的示例如下:

用于下载和提取 zip 文件的程序

import os

def extract(path):
    import tarfile

    if path.endswith("tgz") or path.endswith("gz"):
        dir_path = os.path.dirname(path)
        tar = tarfile.open(path)
        tar.extractall(path=dir_path)
        tar.close()
    else:
        raise RuntimeError("Could not decompress the file: " + path)

加载预训练的 TFLite 模型

加载 Google 提供的 mobilenet V1 TFLite 模型:

from tvm.contrib.download import download_testdata

model_url = "http://download.tensorflow.org/models/mobilenet_v1_2018_08_02/mobilenet_v1_1.0_224.tgz"

# 下载模型 tar 文件,解压得到 mobilenet_v1_1.0_224.tflite
model_path = download_testdata(model_url, "mobilenet_v1_1.0_224.tgz", module=["tf", "official"])
model_dir = os.path.dirname(model_path)
extract(model_path)

# 打开 mobilenet_v1_1.0_224.tflite
tflite_model_file = os.path.join(model_dir, "mobilenet_v1_1.0_224.tflite")
tflite_model_buf = open(tflite_model_file, "rb").read()

# 从缓冲区获取 TFLite 模型
try:
    import tflite

    tflite_model = tflite.Model.GetRootAsModel(tflite_model_buf, 0)
except AttributeError:
    import tflite.Model

    tflite_model = tflite.Model.Model.GetRootAsModel(tflite_model_buf, 0)

加载测试图像

还是用猫的图像:

from PIL import Image
from matplotlib import pyplot as plt
import numpy as np

image_url = "https://github.com/dmlc/mxnet.js/blob/main/data/cat.png?raw=true"
image_path = download_testdata(image_url, "cat.png", module="data")
resized_image = Image.open(image_path).resize((224, 224))
plt.imshow(resized_image)
plt.show()
image_data = np.asarray(resized_image).astype("float32")

# 给图像添加一个维度,形成 NHWC 格式布局
image_data = np.expand_dims(image_data, axis=0)

# 预处理图像:
# https://github.com/tensorflow/models/blob/edb6ed22a801665946c63d650ab9a0b23d98e1b1/research/slim/preprocessing/inception_preprocessing.py#L243
image_data[:, :, :, 0] = 2.0 / 255.0 * image_data[:, :, :, 0] - 1
image_data[:, :, :, 1] = 2.0 / 255.0 * image_data[:, :, :, 1] - 1
image_data[:, :, :, 2] = 2.0 / 255.0 * image_data[:, :, :, 2] - 1
print("input", image_data.shape)

请添加图片描述
输出结果:

input (1, 224, 224, 3)

使用 Relay 编译模型

# TFLite 输入张量名称、shape 和类型
input_tensor = "input"
input_shape = (1, 224, 224, 3)
input_dtype = "float32"

# 解析 TFLite 模型,并将其转换为 Relay 模块
from tvm import relay, transform

mod, params = relay.frontend.from_tflite(
    tflite_model, shape_dict={input_tensor: input_shape}, dtype_dict={input_tensor: input_dtype}
)

# 针对 x86 CPU 构建模块
target = "llvm"
with transform.PassContext(opt_level=3):
    lib = relay.build(mod, target, params=params)

输出结果:

/workspace/python/tvm/driver/build_module.py:268: UserWarning: target_host parameter is going to be deprecated. Please pass in tvm.target.Target(target, host=target_host) instead.
  "target_host parameter is going to be deprecated. "

在 TVM 上执行

import tvm
from tvm import te
from tvm.contrib import graph_executor as runtime

# 创建 runtime 执行器模块
module = runtime.GraphModule(lib["default"](tvm.cpu()))

# 输入数据
module.set_input(input_tensor, tvm.nd.array(image_data))

# 运行
module.run()

# 得到输出
tvm_output = module.get_output(0).numpy()

显示结果

# 加载标签文件
label_file_url = "".join(
    [
        "https://raw.githubusercontent.com/",
        "tensorflow/tensorflow/master/tensorflow/lite/java/demo/",
        "app/src/main/assets/",
        "labels_mobilenet_quant_v1_224.txt",
    ]
)
label_file = "labels_mobilenet_quant_v1_224.txt"
label_path = download_testdata(label_file_url, label_file, module="data")

# 1001 个类的列表
with open(label_path) as f:
    labels = f.readlines()

# 将结果转换为一维数据
predictions = np.squeeze(tvm_output)

# 获得分数最高的第一个预测值
prediction = np.argmax(predictions)

# 将 id 转换为类名,并显示结果
print("The image prediction result is: id " + str(prediction) + " name: " + labels[prediction])

输出结果:

The image prediction result is: id 283 name: tiger cat

下载 Python 源代码:from_tflite.py

下载 Jupyter Notebook:from_tflite.ipynb

解决Vela编译TFLite模型时的Git LFS问题 在机器学习模型部署过程中,TensorFlow Lite(TFLite)模型文件的完整性至关重要。Git LFS(Large File Storage)作为Git的扩展工具,专门用于管理大文件,通过指针文件机制确保大文件的正确下载和版本控制。当使用Vela编译器处理TFLite模型时,若未正确配置Git LFS,可能导致模型文件不完整,引发解析错误。本文通过分析Vela编译器的工作原理和Git LFS的技术实现,解释了如何通过正确安装和配置Git LFS来解决这一问题,确保模型文件的完整性和编译过程的顺利进 阅读详情

相关推荐

从SavedModel到.tflite:TensorFlow模型移动端部署的完整避坑指南(含Bazel编译问题解决)

本文详细解析了从TensorFlow SavedModel到TFLite格式的完整转换流程,重点解决移动端部署中的版本兼容性、算子支持和量化选择等关键问题。通过Bazel编译环境搭建、模型优化策略及移动端集成实践,帮助开发者高效实现深度学习模型在Android和iOS平台的部署,提升移动端AI应用的性能与效率。

weixin_30363509的博客 462

Tensorflow Lite (TF Lite)demo 不支持 mobilenet_v1_1.0_224.tflite float 模型问题的解决

//Tensorflow 给的demo只支持 mobilenet_quant_v1_224.tflite 模型,如果换成其他模型如 mobilenet_v1_1.0_224.tflite 则会出现invalid interpreter handle之类的异常。这大概是调试最久的bug,从2018年12月份一直到2019年3月6日才算结束。之所以结束,是因为我把原来下载的模型删掉,重新下载了,结果...

遥感基础算法爱好者 7692

告别编译烦恼:在线工具一键将YOLOv5模型转为NCNN/TFLite格式(实测对比与参数调整)

本文介绍了如何利用在线工具一键将YOLOv5模型转换为NCNN或TFLite格式,解决移动端AI模型部署中的编译烦恼。通过实测对比和参数调整技巧,帮助开发者快速实现模型转换,优化移动端推理性能,提升部署效率。

weixin_30376083的博客 401

移动端深度学习部署:TFlite

tflite是谷歌自己的一个轻量级推理库。主要用于移动端。使用的思路主要是从预训练的模型转换为tflite模型文件,拿到移动端部署。源模型可以来自tensorflow的saved model或者frozen model,也可以来自keras。

AIGC Studio:分享AIGC前沿知识和好玩应用,公众号同名。 7013

23、OpenMV使用tensorflow 1.15.0训练模型mobilenet_v1_1.0_224进行车辆识别

基本思想:希望使用OpenMV调用Tensorflow 的tflite进行目标检测 一、下载window的Openmv的开发工具,软件下载 https://singtown.com/openmv/ 安装软件之后,进行链接和运行测试即可 测试的画面 帧率还是蛮快的 46.6321 46.6132 46.6284 46.6431 46.6249 46.6392 46.6216 46.6356 46.6185 46.6321 46.6156 46.6289 46.6418 46.6258.

sxj731533730 6009

mobilenet_v1_1.0_224_quant.tflite

mobilenet_v1_1.0_224_quant.tflite

TensorFlow模型转MLIR实战:手把手教你用IREE编译TFLite模型(附避坑指南)

本文详细介绍了如何使用IREE编译器将TensorFlow/TFLite模型转换为MLIR格式并进行编译部署的完整流程。通过手把手实战教程,涵盖环境配置、模型导入、编译优化及运行时验证等关键步骤,并针对常见问题提供避坑指南,帮助开发者高效实现模型在边缘设备上的性能优化与跨平台部署。

resnet7explorer的博客 231

mobilenet_v1_1.0_224.tgz

mobilenet_v1_1.0_224.tgz

【KAWAKO】TVM-tflite模型编译与优化

目录 前言 准备模型 版本问题 精度问题 加载tflite模型 编译模型 在python上运行模型进行测试 加载输入数据 运行四连 优化(Autotune) 注: 前言 TVM的编译与优化主要有两种方法,一种是通过tvmc命令行,另一种是通过python。 tvmc编译出来的模型,在后面c++推理的时候读取不进来,可能是我使用的c++方法与tvmc的模型对应不上导致的,因此本文暂时不讲这种方法,其使用方法可以在官方文档中找到。 python方法虽然不如tvmc灵活,但也挺简单的

本平台停止更新,后续文章将在个人博客blog.kawako.fun发布 1629

mobilenet_v1_224.rar

本压缩包,包含了两个文件夹,分别是mobilenet_v1_0.75_224、mobilenet_v1_0.5_224。 其中包含了通过ncc 0.2.0编译过后的mobilenet_v1_0.75_224.kmodel、mobilenet_v1_0.5_224.kmodel

mobilenet_v1_1.0_224.tar

tensoflow模型,mobilenetv1检查点文件,国内用户无法下载,这里分享下给大家

从TOSA到VMFB:手把手教你用IREE编译TFLite模型到可执行文件

本文详细介绍了如何使用IREE编译器将TFLite模型转换为高性能可执行文件(vmfb)的全流程,涵盖环境配置、模型转换、多后端编译优化及运行时部署等关键步骤。通过实战案例和优化技巧,帮助开发者掌握从TOSA到VMFB的完整编译过程,提升移动端和边缘计算场景下的模型执行效率。

a1b2c的博客 331

mobilenet_v2_1.0_224

mobilenet_v2_1.0_224的cpkt文件,有时候下载不了.....做个备份 https://github.com/tensorflow/models/tree/master/research/slim/#Pretrained

编译tensorflow的tflite模型到Android

官网链接:https://www.tensorflow.org/lite/demo_android 相应的GitHub链接:https://github.com/tensorflow/tensorflow/tree/master/tensorflow/lite/java/demo 这个demo是关于图片分类的,并没有检测和其他模块 bazelbuild--cxxopt=--std=c++11//tensorflow/lite/java/demo/app/src/main:T...

邹九的个人博客 424

petalinux i2c的配置

1.硬件平台配置 1.内核配置 cd petalinux-config -c kernel -> Device Drivers -> I2C support -> i2C Hardware Bus support -> Xilinx I2C Controller Pressing 启用CONFIG_I2C_XILINX=y 2.修改用户设备树 cd cd project-spec/meta-user/recipes-bsp/device-tree/files/ i2c2:

u013403954的博客 4315

关于DHCP Option60的认识

<br />       最近在网络建设过程中,必须面对一个实际存在的问题:当只有一根线入户时,该如何解决CATV和宽带业务的共存呢?这时就要考虑用到DHCP Option60了,那么DHCP Option60到底是如何来实现业务区分的呢?<br />首先先来看下DHCP协议,在DHCP协议中,定义了一个option字段,该字段主要是用来扩展DHCP协议的,Option 60 (Vendor class identifier)是DHCP报文中的一个选项字段,code为60,可以标识终端类型,根据不同的终

luoyingchuan的专栏 7940

【Tensorflow】toco编译+利用toco进行pb转tflite+模型量化

编译tensorflow里面的toco工具: (bazel安装参考:https://blog.youkuaiyun.com/jin739738709/article/details/86705735?spm=1001.2014.3001.5501) cd /d D:\lib\tensorflow\tensorflow\lite\toco (去到\tensorflow-master\tensorflow\lite\toco) bazel build :toco 输入toco命令行进行pb转tflit...

LeonJin的博客 1612

LLVM实战:如何用Clang+LLVM打造你的第一个C++编译器(附完整配置步骤)

本文详细介绍了如何使用Clang+LLVM构建C++编译器的完整配置步骤,从环境准备到编译流程剖析,再到调试与优化技巧。通过实战指南,帮助开发者深入理解LLVM编译器框架的工作原理,并掌握交叉编译与性能分析等高级功能。

sprite的博客 750

TFLite推理CRNN网络模型,0-9数字识别

写在前面:经过几天的折腾,终于通关了TFLite本地编译,tensorflow模型转TFLite,TFlite推理CRNN网络模型。现在把整个过程记录下来。 环境: 操作系统:ubuntu18.04.5 tensorflow版本:v2.2.0 bazel版本:3.1.0 1.TFLite本地编译 TFLite本地编译可以参考我的前面一篇博客《ubuntu18.04 tensorflow以及tensorflow lite源码编译C++库》,地址:https://blog.youkuaiyun.com/guo1988kui

上善若水 1454

LSF实践专题(15):LSF队列优先级以及抢占功能初探

在LSF暂停作业时,会向作业发送一个SIGTSTP信号,并且将作业状态变成SSUSP(system suspend),表示被系统暂停,这时,最好是作业的应用能够捕获和处理SIGTSTP信号,否则,即使在LSF中,作业会被认为暂停了,并且释放了slots资源,但是在实际OS中,作业进程仍然在继续,并且不会释放CPU等计算资源。是指LSF自动将低优先级作业暂停(suspend),将空余出来的资源交给高优先级队列中的作业使用,等到高优先级队列的作业结束后,再将被暂停的作业恢复(resume)并继续运行。

richycn的博客 1921

用miniconda建立PyTorch、Keras、TensorFlow三个环境

如果还没有安装Miniconda,请从[Miniconda官网](https://docs.conda.io/en/latest/miniconda.html)下载合适的版本并进行安装。如果遇到问题,可以通过编辑`~/.condarc`文件来临时禁用某个源,或者通过`conda config --remove channels`命令来移除配置的镜像源。要切换到不同的环境,先使用`conda deactivate`命令退出当前环境,再用`conda activate 环境名称`命令激活另一个环境。

数字人生 2464

安装包 支持的参数_使用TVM支持TFLite(中)

在阅读该篇文章之前,建议先阅读该系列文章的上一篇 蓝色:使用TVM支持TFLite(上),并希望按照上篇文章末尾所提供的文档链接,成功编译安装了TVM。若没有任何问题,你打开Python3以后,import tvm,不应该有任何报错,如下图所示:让TVM支持TFLite的准备工作在这一步以后,我们若要让TVM支持运行TFLite模型,我们还需要两个Python安装包:FlatbuffersTFLi...

weixin_28704565的博客 447

HRNet训练自己的分类数据

1.搭建环境 为了防止和服务器上的环境冲突,这里利用conda搭建环境。 Install PyTorch=0.4.1 following theofficial instructions git clonehttps://github.com/HRNet/HRNet-Image-Classification Install dependencies: pip install -r requirements.txt ...

C/C++、嵌入式开发、深度学习算法、模型部署与推理优化 5850

怎么将tflite部署在安卓上_在Android中使用TFLite c++部署

之前的文章中,我们跟大家介绍过如何使用NNAPI来加速TFLite-Android的inference(可参考使用NNAPI加速android-tflite的Mobilenet分类器)。不过之前介绍的文章,在进行模型加载和推断使用的是官方提供的预编译好的Jar文件,业务代码都通过Java进行编写。如果你想使用C++在native层进行业务代码的编写,你也可以参考本文的实现思路。跟之前专栏中介绍的框...

weixin_39631370的博客 1223

飞牛NAS打造成童年经典游戏机

这篇文章介绍如何使用飞牛NAS搭建经典游戏模拟器。首先需开启Docker并下载RetroArch-web镜像,随后创建容器并设置端口映射。启动后上传游戏ROM文件(如NES格式),在模拟器中加载即可游玩。文章以修改版坦克大战为例,详细说明按键配置方法。同时还提到公网访问需配置DDNS或使用ZeroTier内网穿透。通过这套方案,用户可以在NAS上重温红白机等经典游戏体验。

dgnankai的专栏 888

[QMT和ptrade量化交易小白入门]-125、菜场大妈加上四大现金行业指数风控,最大回撤从22%减少了一半

群里面有人建议,在菜场大妈策略的基础上,加入申万的行业指数(银行,钢铁,有色,煤炭)测算其宽度,当这四大行业其中有一个高就会清仓(用来控制回撤)。这背后的逻辑是,在存量资金博弈的市场环境中,资金总量相对固定,当银行、钢铁、有色、煤炭等大市值周期行业因基本面改善(如涨价、政策催化)或避险需求而走强时,会吸引大量资金涌入,导致其他板块(尤其是小市值股票)面临流动性虹吸。经过回测,对比上一个版本发现确实是可以降低一半的回撤,最大回撤从22.3%降到了11.4%,而且有很多时间是空仓等待。

木头大左的博客 242
上一篇: 编译 MXNet 模型
下一篇: 5 个章节、25 条规范,全方位 Get 数据集选择与创建的「百科全书」
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值