【TVM教程】使用 TVMC Micro 执行微模型

MXNet分布式训练与生产部署架构深度解析 深度学习框架的分布式训练能力本质上源于其底层执行引擎与通信机制的设计哲学。从计算图调度、内存仲裁到梯度同步协议,架构级决策直接决定模型能否跨越单机限制实现千卡扩展,并支撑低延迟、高可用的生产部署。Apache MXNet 以 Engine 执行引擎和分层 kvstore 为核心,将分布式训练稳定性、跨语言部署兼容性与边缘推理轻量化深度耦合,尤其在推荐系统长尾更新、混合云容错训练及 WebAssembly 端侧推理等场景中展现出独特工程价值。 阅读详情

Apache TVM是一个深度的深度学习编译框架,适用于 CPU、GPU 和各种机器学习加速芯片。更多 TVM 中文文档可访问 →https://tvm.hyper.ai/

作者:Mehrdad Hessar

本教程介绍了如何为微型设备编译一个微模型,并在 Zephyr 平台上构建一个程序,来执行这个模型,烧录程序,并用 tvmc micro 命令来执行所有模型。在进行本教程之前你需要安装 python 和 Zephyr 依赖

安装 microTVM Python 依赖项​

TVM 不包含用于 Python 串行通信包,因此在使用 microTVM 之前我们必须先安装一个。我们还需要TFLite来加载模型。

pip install pyserial==3.5 tflite==2.1

安装 Zephyr​

# 安装 west 和 ninja
python3 -m pip install west
apt-get install -y ninja-build

# 安装 ZephyrProject
ZEPHYR_PROJECT_PATH="/content/zephyrproject"
export ZEPHYR_BASE=${ZEPHYR_PROJECT_PATH}/zephyr
west init ${ZEPHYR_PROJECT_PATH}
cd ${ZEPHYR_BASE}
git checkout v3.2-branch
cd ..
west update
west zephyr-export
chmod -R o+w ${ZEPHYR_PROJECT_PATH}

# 安装 Zephyr SDK
cd /content
ZEPHYR_SDK_VERSION="0.15.2"
wget "https://github.com/zephyrproject-rtos/sdk-ng/releases/download/v${ZEPHYR_SDK_VERSION}/zephyr-sdk-${ZEPHYR_SDK_VERSION}_linux-x86_64.tar.gz"
tar xvf "zephyr-sdk-${ZEPHYR_SDK_VERSION}_linux-x86_64.tar.gz"
mv "zephyr-sdk-${ZEPHYR_SDK_VERSION}" zephyr-sdk
rm "zephyr-sdk-${ZEPHYR_SDK_VERSION}_linux-x86_64.tar.gz"

# 安装 python 依赖
python3 -m pip install -r "${ZEPHYR_BASE}/scripts/requirements.txt"

使用 TVMC Micro​

TVMC 是一个命令行工具,也是 TVM Python 包的一部分。机器设置不同,访问此软件包的方式也不一样。多数情况下,可以直接使用 tvmc 命令。如果在 $PYTHONPATH 上将 TVM 作为 Python 模块,你可以使用 python -m tvm.driver.tvmc 命令来访问此驱动程序。简单起见,本教程使用 tvmc 命令。

检查是否安装了 TVMC 命令,运行如下命令:

tvmc --help

使用 tvmc compile 子命令为 microtvm 编译模型,此命令的输出在后续步骤中与 tvmc micro 子命令一起使用。使用以下命令检查 TVMC Micro 是否可用:

tvmc micro --help

使用 tvmc micro 执行的主要任务是 create、build 和 flash。要了解各个子命令下的特定选项,可使用 tvmc micro <subcommand> --help。本教程会使用每个子命令。

获取微模型​

本教程使用 TFLite micro 的 Micro Speech 模型。Micro Speech 是一个深度卷积模型,可以识别演讲中的关键词。

本教程使用 TFLite 格式的模型。

wget https://github.com/tensorflow/tflite-micro/raw/a56087ffa2703b4d5632f024a8a4c899815c31bb/tensorflow/lite/micro/examples/micro_speech/micro_speech.tflite

将 TFLite 模型编译为模型库格式​

模型库格式(Model Library Format,简称 MLF)是 TVM 为微 target 提供的一种输出格式,MLF 是包含了 TVM 编译器输出的所有部分的 tarball,这些编译器输出可以用于 TVM 环境之外的微 target。更多信息请访问 模型库格式。

在这里,我们为 qemu_x86 Zephyr 板生成一个 MLF 文件。您可以选择使用 AOT 或图形执行器类型来运行本教程,不过我们建议在 microTVM 目标上使用 AOT,因为 AOT 使用静态内存分配的提前编译。要生成 micro_speech tflite 模型的 MLF 输出::

tvmc compile micro_speech.tflite \
 --target='c -keys=cpu -model=host' \
 --runtime=crt \
    --runtime-crt-system-lib 1 \
 --executor='aot' \
 --output model.tar \
    --output-format mlf \
    --pass-config tir.disable_vectorize=1

这将生成一个包含 TVM 编译器输出文件的 model.tar 文件。若要为不同的 Zephyr 设备运行此命令,需要更新 target。例如,对于 nrf5340dk_nrf5340_cpuapp 板,target 是 --target='c -keys=cpu -link-params=0 -model=nrf5340dk'。

使用模型库格式创建 Zephyr 项目​

使用 TVM Micro 子命令 create 生成 Zephyr 项目。将 MLF 格式、项目路径,以及项目选项传递给 create 子命令。每个平台(Zephyr/Arduino)的项目选项在其项目 API 服务器文件中定义。运行如下命令生成 Zephyr 项目:

tvmc micro create \
    project \
    model.tar \
    zephyr \
    --project-option project_type=host_driven board=qemu_x86

以上命令为 qemu_x86 Zephyr 板生成一个 Host-Driven Zephyr 项目,在 Host-Driven 模板项目中,图执行器(Graph Executor)将在主机上运行,并通过使用 RPC 机制向设备发出命令,在 Zephyr 设备上运行模型执行。阅读有关主机驱动执行的更多信息。

获取有关 TVMC Micro create 子命令的更多信息,执行如下命令:

tvmc micro create --help

使用 TVMC Micro 构建和烧录 Zephyr 项目​

接下来使用如下命令构建 Zephyr 项目(包括用于运行微模型的 TVM 生成代码、用于在主机驱动模式下运行模型的 Zephyr 模板代码和 TVM runtime 源/头文件)。要构建项目:

tvmc micro build \
    project \
    zephyr \
    --project-option zephyr_board=qemu_x86

以上命令将在 project 目录中构建项目,并在 project/build 下生成二进制文件,要为不同的 Zephyr 板构建 Zephyr 项目,需更改 zephyr_board 项目选项。

接下来把 Zephyr 二进制文件烧录到 Zephyr 设备。对于 qemu_x86 Zephyr 板,因为要用到 QEMU,所以不会执行任何操作,但是对于物理硬件,此步骤不可省略。

tvmc micro flash \
    project \
    zephyr \
    --project-option zephyr_board=qemu_x86

在微 Target 上运行微模型​

与设备通信后,在设备上对编译好的模型和 TVM RPC 服务器进行编程。Zephyr 板等待主机打开通信通道。MicroTVM 设备通常使用串口通信(UART)进行通信 。要使用 TVMC 在设备上运行闪存模型,可通过 tvmc run 子命令并通过 --device micro 来指定设备类型,打开通信通道,使用主机上的 Graph Executor 设置输入值并在设备上运行完整模型,然后从设备获取输出。

tvmc run \
 --device micro \
    project \
    --project-option zephyr_board=qemu_x86 \
    --fill-mode ones \
    --print-top 4

具体来说,此命令将模型的输入全部设置为 1,并显示输出的四个值及其索引。

# Output:
# INFO:__main__:b'[100%] [QEMU] CPU: qemu32,+nx,+pae\n'
# remote: microTVM Zephyr runtime - running
# INFO:__main__:b'[100%] Built target run\n'
# [[   3    2    1    0]
#  [ 113 -120 -121 -128]]

下载 Python 源代码:micro_tvmc.py

下载 Jupyter notebook:micro_tvmc.ipynb

「文智助手」全场景办公AI助理AI+OPC全流程实践方案(大赛作品) 阅读详情

相关推荐

船载 OpenHarmony AIS 航海工作台:告警与防碰撞预警系统

船载OpenHarmony AIS航海工作台的告警与防碰撞系统,集成十余类告警(超速、偏航、会遇、SOS等),通过网格空间索引实现高效邻近判定,保障实时性。告警管理器统一调度规则、去重、通知与日志,支持悬浮球、语音、跑马灯、弹窗多渠道触达,确保航行安全。SOS紧急通道独立运行,避免干扰。系统设计强调性能优化与多场景适配,为航海安全提供核心支撑。

专注于计算机研发知识和资讯分享 537

TVM 中文文档项目常见问题解决方案

TVM 是一个开源的深度学习编译器,适用于 CPU、GPU、ARM 等多种硬件架构。它旨在使机器学习工程师能够在任意硬件后端高效地运行并优化计算。TVM 中文文档项目(https://github.com/hyperai/tvm-cn.git)是 TVM 官方文档的中文翻译版本,旨在帮助中文开发者更好地理解和使用 TVM。 该项目的主要编程语言包括: - **TypeScript** - **P...

gitblog_01095的博客 997

从入门到精通:MATEKH743 飞控全解析——MAVLink 接口软/硬件对接实战

MATEKH743飞控是基于STM32H743微控制器的无人机核心控制系统,具备强大计算能力和丰富外设接口。该飞控采用双核架构,集成高性能IMU、气压计等传感器,支持多种开源固件(Betaflight/INAV/ArduPilot),适用于FPV穿越机、固定翼及工业无人机。相比PX4等飞控,MATEKH743在性价比和DIY友好度上优势明显,同时支持MAVLink协议实现设备通信。未来发展方向包括集成更高精度传感器、优化电源管理以及拓展工业应用场景,持续推动无人机技术创新。

bother3000的博客 2288

【TVM 教程】使用 TVM 部署框架预量化模型 - 第 3 部分(TFLite)

更多 TVM 中文文档可访问 →此教程介绍如何量化 TFLite 计算图,并通过 TVM 编译和执行。有关使用 TFLite 量化模型的更多详细信息,参阅。TFLite 模型下载。开始前,先安装 TensorFlow 和 TFLite 包。执行命令检查 TFLite 包是否安装成功。

HyperAI超神经 1580

激光雷达测距方式全解析:ToF、三角测距和FMCW到底怎么选?

本文深度解析激光雷达三种主流测距方式(ToF、三角测距和FMCW)的技术原理、环境适应性和成本模型,提供场景化选型决策指南。通过对比各技术在精度、抗干扰能力和维护成本等方面的表现,帮助工程师在自动驾驶、工业检测和消费电子等领域做出最优选择。

qqq44的博客 723

基于淘宝商城用户购物行为数据分析系统

本文使用HIve+superset技术对阿里云天池提供的淘宝用户购物数据进行处理分析,得到有价值的信息并对平台提出有建设性意义的意见。

m0_51388399的博客 2822

编译 PyTorch 模型

本篇文章译自英文文档。作者是。更多 TVM 中文文档可访问 →。本文介绍了如何用 Relay 部署 PyTorch 模型。首先应安装 PyTorch。此外,还应安装 TorchVision,并将其作为模型合集 (model zoo)。或参考官网:https://pytorch.org/get-started/locally/PyTorch 版本应该和 TorchVision 版本兼容。目前 TVM 支持 PyTorch 1.7 和 1.4,其他版本可能不稳定。

HyperAI超神经 1172

一种抑制undershoot/overshoot锐化算法介绍

一、USM 当增强图像的边缘、细节信息等高频信息时,图像的锐化视觉效果会得到较大提升。提高图像锐化的一种经典算法为非锐化掩码(UNsharp Masking)技术。该技术首先通过高通滤波并与缩放系数相乘,其结果再与原始图像相加,即可对高频信息进行增强。其主要的原理如下图所示: 其中,对图像进行高通滤波的另一种等效方法为:原始图像减去原始图像的低通滤波图像,其结果被称之为“掩码”。因此,上述的USM方法可以表示为: 原始图像减去原始图像低通滤波之后的图像得到掩码M。 2.掩...

大熊 4242

TVM Compiler中文教程:使用TVM编写可调模板和使用自动调优器

文章目录使用TVM编写可调模板和使用自动调优器加载依赖库第一步:定义搜索空间参数化调度使用更好的空间定义API第二步:搜索空间在TVM中使用自动调优器开始调优 使用TVM编写可调模板和使用自动调优器 这是TVM中auto-tuning模块的入门教程。 auto-tuning分两个步骤:第一步定义搜索空间;第二步是运行搜索算法来探索这个空间。在本教程中,你可以了解如何在TVM中执行这两个步骤。下面通...

Mars_WH的专栏 5314

数仓建模:维度表合并时,如何处理可能出现的数据冲突?

通过以上方法,可以有效地处理维度表合并时可能出现的数据冲突,确保合并后的数据完整性、一致性和准确性,满足业务需求和数据仓库的性能要求。在合并过程中,需要根据实际情况选择合适的处理方法,并进行充分的测试和验证。(2)实战中总结的SQL技巧,帮助SQLBOY在SQL语言上有质的飞越,无论你应对业务难题及面试都会游刃有余【如果您觉得本文还不错,对你有帮助,那么不妨可以关注一下我的数字化建设实践之路专栏,这里的内容会更精彩。技巧总结,让你认识不一样的数仓。,数据库会抛出异常,可根据异常处理机制解决。

石榴姐yyds 1134

黑猫详解【UFS Unipro】第1篇:Unipro协议框架详解

UniPro规范适用于广泛的设备类型,如应用程序处理器、co-处理器、调制解调器、存储子系统,包括非易失性内存模块、显示器、相机传感器、3D图形和多媒体加速器。它还适用于不同类型的数据流量,如控制消息、批量数据传输和分组流。MIPI UniPro是一个成熟的通用接口,易于实现、可在传统模块化设备架构中灵活使用,适合满足并应对移动和其他行业不断增长的需求。UniPro充当UFS的数据链路层,负责host和device的连接。UniPro不仅定义了数据链路层,它本是也是一个比较完整的协议栈。

黑猫奥利奥的博客 3649

【TVM 教程】使用 TVMC Micro 执行微模型

本教程介绍了如何为微型设备编译一个微模型,并在 Zephyr 平台上构建一个程序,来执行这个模型,烧录程序,并用 tvmc micro 命令来执行所有模型。在进行本教程之前你需要安装 python 和 Zephyr 依赖

HyperAI超神经 696

Codex 100个真实案例 - 用AI生成Blender 3D建模脚本(建模师要失业了?)

本案例将展示如何用 Codex 生成 Blender Python API(bpy)脚本,自动创建完整的 3D 模型。我们将从基础几何体开始,逐步实现布尔运算、材质设置、光照配置,最终完成一张精美桌子的 3D 建模——包括桌面、桌腿、倒角、木纹材质。还会实现参数化批量生成不同风格的桌子、渲染输出 PNG 图片、以及 360 度旋转动画。全程用自然语言驱动 Codex,让建模从"点鼠标"变成"说人话"!

yueyeguzhuo的专栏 637

突破嵌入式瓶颈:TVMC Micro微模型全流程执行指南

你是否正面临嵌入式设备上AI模型部署的三重困境:**内存不足**(KB级资源限制)、**算力有限**(无操作系统支持)、**部署复杂**(跨平台适配成本高)?TVMC Micro作为microTVM生态的核心命令行工具,通过统一的工作流将模型编译、项目生成、固件烧录与执行整合为标准化流程,彻底解决微型设备上的AI部署难题。本文将深入剖析TVMC Micro的执行原理,带你掌握从环境搭建到模型推理的

gitblog_00964的博客 514

公文流转系统

公文录入区 | QLineEdit(文号/标题)、QComboBox(公文类型/紧急程度)、QTextEdit(正文)、QListWidget(附件列表)、QPushButton(上传附件/保存草稿/提交审批) |// 按时间范围获取。QStringList userNames = {"张三", "李四", "王五", "赵六", "钱七", "孙八", "周九", "吴十", "郑十一", "王十二"};

寒寒豆豆软件公司的博客 552

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

微设备AI部署革命:TVMC Micro全流程实战指南

你是否曾因模型体积过大而无法部署到资源受限的微设备?是否在多种嵌入式平台间切换时遭遇工具链兼容性噩梦?TVMC Micro工具的出现,彻底改变了这一现状。作为TVM生态中针对微型设备优化的命令行工具,它将复杂的模型编译、平台适配、固件生成流程浓缩为简洁的命令序列,让开发者能够在5分钟内完成从模型到嵌入式执行的全流程。本文将带你深入掌握TVMC Micro的核心功能与实战技巧,揭开微设备AI部署的神

gitblog_01171的博客 535

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

01 TVM环境编译

TVM环境配置记录

murongjunxiaoxiao的博客 872

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

AI 问数真的能替代 BI 报表吗?

AI问数赋能自然语言查询,提升临时分析效率,但无法替代传统报表。报表适用于稳定输出与持续监控,AI则擅长探索性提问。企业用好AI问数,关键在于夯实数据模型、统一指标口径、健全权限体系与结果校验机制。合理组合报表、仪表板与AI,才能实现高效、准确的业务洞察。

葡萄城技术团队博客 341

ChatGPT、Perplexity、Gemini 与 AI Overviews 引用对比:谁的引用更可信

AI 引擎的引用机制差异很大:ChatGPT 以行内引用加 Sources 列表呈现来源,Perplexity 几乎逐句可溯源,Gemini 在回答中内嵌相关来源链接,AI Overviews 则把多源聚合答案与来源列表一起放在搜索结果顶部。本文从引用透明度、来源偏好、可干预性 3 个维度对比这 4 个引擎,并给出 GEO 的 3 点启示,帮企业在多引擎环境下提升被引用的概率。

淡然一笑 的专栏 280

【从零理解 Spring AI · 12】MCP 的两种角色:做客户端还是做服务端

上一篇讲了 MCP 的概念:标准协议、三大角色、M+N 替代 M×N。

nice_lcj520的博客 616

抽象主义人工智能和生命体AI的内在联系

彭军辉提出“抽象主义人工智能”作为第四大AI范式,批判符号主义、连接主义、行为主义剥离生命本体的误区,确立“智能是现象,生命是本体”的核心公理。主张原生智能必须依附具备存续诉求的生命本体,提出“生命体AI理论”,构建七层演化阶梯与自闭环工程框架,强调智能不可跳过底层存续机制直接模拟语言。该体系为生成式AI提供科学边界,推动从“仿真表象”向“原生智能”的范式跃迁,开辟硅基人工生命新赛道。

抽象主义人工智能和生命体AI 209

OpenAI Control Room 架构拆解:给企业 AI Agent 加一套可审计的急停系统

OpenAI 公开了用于追踪和停止研究模型工作负载的 Control Room。本文拆解 job_id、推理前鉴权、35 秒撤销窗口与 Fail Closed 设计,并给出企业 AI Agent 急停控制面的数据模型、FastAPI 参考实现、缓存撤销策略和故障演练清单。

jerry764的博客 345

OpenClaw 深度调查:把 AI 助手做成你自己的控制平面

对 openclaw/openclaw 的完整技术尽调:Gateway 架构、Agent 运行时、工具与沙箱、30 个消息通道、181 个插件、安全信任边界、工程代价与采用建议。17 章 / 10 张图,全部数字标注口径,数据截至 2026-10-31。

厚积薄发 363

AI赋能智慧港口建设|造形家快速生成港口全要素三维场景

随着智慧港口、港口数字孪生项目的持续推进,港口三维场景的需求日益旺盛。传统港口三维建模,往往需要航拍倾斜摄影采集数据,再人工搭建吊机、岸桥、船舶、集装箱等大量工业设施模型,项目周期长、人力成本高,修改迭代繁琐,制约港口可视化项目落地效率。国产AI三维建模工具,依托卫星影像 AI 识别能力,无需航拍作业,一键快速搭建港口完整三维场景,为港口数字孪生、方案汇报、投标演示提供高效的场景解决方案。

m0_69539167的博客 87

从设备增点到治理闭环:老旧小区物业数智化落地实践

系统连接合同审批、银行流水、收费记录与项目台账,执行到期提醒、收入核验、异常标色和月度对账,让每一笔资金来源明确、去向可查。针对设施老旧、诉求响应慢、公共收益不透明等问题,津南以6类小区为试点场景,统一建设物业数字化底座,关联楼栋、单元、房屋、业主、空间、设施设备、工单、公共收益等核心数据。系统采用统一编码管理,将摄像头、路灯、井盖、道路、绿化等设施纳入资产台账,解决纸质记录更新滞后、故障责任难追溯的问题。基于历史工单建立分类模型和知识库,辅助识别照明、给排水、电梯、环境秩序、秩序维护等问题;

wuyeshuzhihua的博客 163
上一篇: 扩散模型×音乐生成,DiffRhythm 分分钟完成歌曲创作!低门槛部署大语言模型,MiniMind 数据集重磅开源
下一篇: 精度提升5.2%,英伟达等发布多模态医学影像分割模型,实现三维影像自动分割与交互
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值