【TVM 学习资料】使用 TVMC Python 入门:TVM 的高级 API

tvm-0.8.0-1.5.7-API文档-中文版.zip 赠送jar包:tvm-0.8.0-1.5.7.jar; 赠送原API文档:tvm-0.8.0-1.5.7-javadoc.jar; 赠送源代码:tvm-0.8.0-1.5.7-sources.jar; 赠送Maven依赖信息文件:tvm-0.8.0-1.5.7.pom; 包含翻译后的API文档:tvm-0.8.0-1.5.7-javadoc-API文档-中文(简体)版.zip; Maven坐标:org.bytedeco:tvm:0.8.0-1.5.7; 标签:bytedeco、tvm、中文文档、jar包、java; 使用方法:解压翻译后的API文档,用浏览器打开“index.html”文件,即可纵览文档内容。 人性化翻译,文档中的代码和结构保持不变,注释和说明精准翻译,请放心使用。 立即下载

本篇文章译自英文文档 Getting Starting using TVMC Python: a high-level API for TVM 作者是 Jocelyn Shiue。更多 TVM 中文文档可访问→TVM 中文站

本节将介绍针对 TVM 初学者设计的脚本工具。

开始前如果没有下载示例模型,需要先通过终端下载 resnet 模型:

mkdir myscripts
cd myscripts
wget https://github.com/onnx/models/raw/b9a54e89508f101a1611cd64f4ef56b9cb62c7cf/vision/classification/resnet/model/resnet50-v2-7.onnx
mv resnet50-v2-7.onnx my_model.onnx
touch tvmcpythonintro.py

用你熟悉的文本编辑器来编辑 Python 文件。

第 0 步:导入​

from tvm.driver import tvmc

第 1 步:加载模型

将模型导入 TVMC。这一步将机器学习模型从支持的框架,转换为 TVM 的高级图形表示语言 —— Relay。这是为 TVM 中的所有模型统一起点。目前支持的框架:Keras、ONNX、TensorFlow、TFLite 和 PyTorch。

model = tvmc.load('my_model.onnx') # 第 1 步:加载

查看 Relay,可运行 model.summary()。

所有框架都支持用 shape_dict 参数覆盖输入 shape。对于大多数框架,这是可选的;但对 PyTorch 是必需的,因为 TVM 无法自动搜索它。

model = tvmc.load('my_model.onnx', shape_dict={'input1' : [1, 2, 3, 4], 'input2' : [1, 2, 3, 4]}) #第一步: 加载 + shape_dict

推荐通过 netron 查看模型 input/shape_dict。打开模型后,单击第一个节点查看输入部分中的 name 和 shape。

第 2 步:编译

模型现在是用 Relay 表示的,下一步是将其编译到要运行的硬件(称为 target)。这个编译过程将模型从 Relay,翻译成目标机器可理解的底层语言。

编译模型需要一个 tvm.target 字符串。查看 文档 了解有关 tvm.targets 及其选项的更多信息。一些例子如下:

cuda (英伟达 GPU)
llvm (CPU)
llvm -mcpu=cascadelake(英特尔 CPU)

package = tvmc.compile(model, target="llvm") # 第 2 步:编译

编译完成后返回一个 package。

第 3 步:运行

编译后的 package 可在目标硬件上运行。设备输入选项有:CPU、Cuda、CL、Metal 和 Vulkan。

result = tvmc.run(package, device="cpu") # 第 3 步:运行

用 print(result) 打印结果。

第 1.5 步:调优(可选并推荐)

通过调优可进一步提高运行速度。此可选步骤用机器学习来查看模型(函数)中的每个操作,并找到一种更快的方法来运行它。这一步通过 cost 模型,以及对可能的 schedule 进行基准化来实现。

这里的 target 与编译过程用到的 target 是相同的。

tvmc.tune(model, target="llvm") # 第 1.5 步:可选 Tune

终端输出如下所示:

[Task  1/13]  Current/Best:   82.00/ 106.29 GFLOPS | Progress: (48/769) | 18.56 s
[Task  1/13]  Current/Best:   54.47/ 113.50 GFLOPS | Progress: (240/769) | 85.36 s
.....

出现的 UserWarnings 可忽略。调优会使最终结果运行更快,但调优过程会耗费几个小时的时间。

参阅下面的“保存调优结果”部分,若要应用结果,务必将调优结果传给编译。

tvmc.compile(model, target="llvm", tuning_records = "records.log") # 第 2 步:编译

保存并在终端中启动进程

python my_tvmc_script.py

示例结果

Time elapsed for training: 18.99 s
Execution time summary:
mean (ms)   max (ms)   min (ms)   std (ms)
  25.24      26.12      24.89       0.38



Output Names:
['output_0']

TVMC 附加功能

保存模型

加载模型(第 1 步)后可保存 Relay 版本来提高之后的工作效率。模型将被储存在你指定的位置,随后可以被转换过的语法使用。

model = tvmc.load('my_model.onnx') # 第 1 步:加载
model.save(desired_model_path)

保存 package

模型编译完成(第 2 步)后,可将 package 保存下来。

tvmc.compile(model, target="llvm", package_path="whatever") # 第 2 步:编译

new_package = tvmc.TVMCPackage(package_path="whatever")
result = tvmc.run(new_package, device="cpu") # 第 3 步:运行

使用 Autoscheduler

使用下一代 TVM,运行速度会更快。schedule 的搜索空间以前是手写的,而现在是自动生成的。 (了解更多: 1,2)

tvmc.tune(model, target="llvm", enable_autoscheduler = True)

保存调优结果

把调优结果保存在文件中,方便以后复用。

  • 方法 1:
log_file = "hello.json"

# 运行 tuning
tvmc.tune(model, target="llvm", tuning_records=log_file)

...

# 运行 tuning,然后复用 tuning 的结果
tvmc.tune(model, target="llvm",tuning_records=log_file)
  • 方法 2:
# 运行 tuning
tuning_records = tvmc.tune(model, target="llvm")

...

# 运行 tuning,然后复用 tuning 的结果
tvmc.tune(model, target="llvm",tuning_records=tuning_records)

对更复杂的模型调优

如果 T 的打印类似 …T.T…T…T…T.T.T.T.T.T.,则增加搜索时间范围:

tvmc.tune(model, trials=10000, timeout=10,)

为远程设备编译模型

为不在本地计算机上的硬件进行编译时,TVMC 支持使用远程过程调用(RPC)。要设置 RPC 服务器,可参考本 文档 中的“在设备上设置 RPC 服务器”部分。

TVMC 脚本包括以下内容,并进行了相应调整:

tvmc.tune(
     model,
     target=target, # 编译 target 为字符串 // 要编译的设备
     target_host=target_host, # 主机处理器
     hostname=host_ip_address, # 远程基准测试时使用的 RPC 跟踪器的 IP 地址
     port=port_number, # 要连接的 RPC 跟踪器的端口。默认为 9090。
     rpc_key=your_key, # 目标设备的 RPC 跟踪器密钥。提供 rpc_tracker 时需要
)

下载 Python 源代码
下载 Jupyter Notebook

C#调用Halcon程序三种方法 C#调用Halcon程序三种方法 1.halcon导出C#文件,在C#里面调用 2.在C#里面使用Halcon引擎调用Halcon程序 3.在C#里面使用Halcon引擎调用.hdev下本地函数或者.hdvp外部函数 Halcon引擎手册:C:/Program Files/MVTec/HALCON-21.11-Progress/doc_en_US/html/manuals/programmers_guide/programmers_guide_0120.html 1.导出C#(代码我只给出类,需要调用) 阅读详情

相关推荐

三维重建之条纹投影结构光(一)

该系列为条纹投影结构光学习笔记,一共分为四篇。第一篇记录文献阅读的笔记,对重要知识点进行摘录介绍。 本篇以理论知识推导为主,主要从以下三个方面进行介绍,首先介绍条纹投影的三角测量原理;然后介绍相位主值的求解和相位展开;最后介绍相位和高度的模型,即相高模型。本篇博文不涉及具体的代码实现。 条纹投影结构光测量原理 ...

beyond951的博客 3万+

TVM 结构学习总结

最近对深度学习编译器TVM学习了一下,了解各部分的功能,根据自己的理解进行总结,如有不正确请指正,话不多说上脑图: TVM为解决各种深度学习训练框架的模型部署到各种硬件而诞生 下图是TVM经典技术栈图: 编译器层次抽象: 编译器前端:接收C/C++/Java等不同语言,进行代码生成,吐出IR 编译器中端:接收IR,进行不同编译器后端可以共享的优化,如常量替换,死代码消除,循环优化等,吐出优化后的IR 编译器后端:接收优化后的IR,进行不同硬件的平台相关优化与硬件指令生...

沧海明月的博客 3313

DeepSeek安装教程

两分钟讲述deepseek正确安装教程

weixin_45906703的博客 1666

【TVM帮助文档学习】通过示例分析TVM代码流程

了解TVM代码颇具挑战性,它的各组件之间的交互非常隐晦。 在本指南中,我们将通过一个简单的示例来说明模型编译过程中的关键组成。 对于每一个重要的步骤,我们都展示了它在代码库中的实现位置,以便新开发人员和感兴趣的用户更快地深入代码库。 代码结构概述 在TVM代码仓库根目录下有如下子目录,它们组成了TVM代码库: src- 算子编译和部署运行时C++代码 src/relay-Relay(一种用于深度学习框架的函数式IR)的实现 python- src中C++函数和对象的Python封装前端. ...

zx_ros的博客 1649

基于Hadoop生态的大数据异常检测平台搭建

批处理:用Spark MLlib的LOF(局部异常因子,适合高密度数据)、(单类支持向量机,适合高维数据);流处理:用Flink ML的(实时聚类,检测离群点)、ADWIN(自适应滑动窗口,处理概念漂移)。数据层:用Flume/Kafka采集数据,HDFS存储,Hive管理元数据;计算层:用Spark处理离线批数据,Flink处理实时流数据;算法层:用孤立森林(批)、3σ原则(流)检测异常;可视化层:用Grafana做仪表盘,Prometheus+Alertmanager报警。这个平台能处理。

软件工程实践的博客 935

树莓派4B+Ubuntu22.04+思岚RPLIDAR C1激光雷达应用

树莓派+Ubuntu22.04+思岚RPLIDAR C1激光雷达简单应用

techfuture的博客 3710

AI编译器入门:TVM与MLIR如何将深度学习模型映射到任意硬件——连接算法与芯片的桥梁

AI编译器是连接深度学习模型与多样化硬件架构的核心桥梁,它通过多层中间表示和自动化优化技术,解决模型部署中的性能与可移植性挑战。本文深入解析TVM和MLIR两大主流框架的设计哲学与实现原理,涵盖从计算图优化、算子融合到硬件特定代码生成的完整编译流程。通过架构分析、代码实例与实战对比,系统阐述如何将高级模型描述高效映射到CPU、GPU、ASIC等异构计算平台,为读者提供从理论到实践的全面指南。

AladdinEdu,你的AI学习实践工作坊。让想法落地,让研究加速。助力高校AI人才成长,点亮创新未来。 2200

用Python实现四叉树(quad tree)

import numpy as np #正方形类 class square: #lx、ly为左上角坐标(x对应行号,y对应列号),rx、ry为右下角坐标 def __init__(self,lx,ly,rx,ry): self.lx=lx self.ly=ly self.rx=rx self.ry=ry #检查该矩阵中是否满足条件 #参数:原矩阵,阈值 #返回值:布尔类型 def check(s

weixin_44164489的博客 5869

【TVM源码学习笔记】2 模型导入from_onnx

from_onnx将onnx模型转换为tvm relay ir

zx_ros的博客 1876

GoPro官方API实战:从蓝牙配对到Wi-Fi流媒体,构建跨平台控制应用

本文详细解析了GoPro官方API的开发实践,涵盖蓝牙配对、Wi-Fi流媒体控制等关键技术。通过实战案例,指导开发者如何构建跨平台控制应用,解决设备发现、指令解析、视频流传输等核心问题,并分享Android平台迁移经验与常见问题排查方法。

weixin_30727835的博客 397

告别信息过载:我是如何用Feedly RSS阅读器打造个人专属信息流的(附Chrome插件使用技巧)

本文分享了如何利用Feedly RSS阅读器有效管理信息过载,打造个人专属信息流的方法。通过科学组织订阅源、智能过滤和跨平台同步技巧,帮助用户从被动接收转为主动筛选,提升信息获取效率。特别推荐使用Feedly的Chrome插件和AI过滤功能,实现高效的信息管理。

weixin_42526015的博客 360

【TVM帮助文档学习】开始使用TVMC Python: TVM的高级API

本文翻译自Getting Starting using TVMC Python: a high-level API for TVM — tvm 0.9.dev0 documentation 首先我们需要准备好示例使用resnet模型。如果你还没有的话,可以按以下步骤下载: mkdir myscripts cd myscripts wget https://github.com/onnx/models/raw/main/vision/classification/resnet/model/resnet.

zx_ros的博客 943

OSG 核心详解

OpenSceneGraph (OSG) 的核心架构、场景图管理以及几何体的绘制

qq_45859163的博客 730

3、使用 TVMC Python 入门:TVM 的高级 API

本节将介绍针对 TVM 初学者设计的脚本工具。 开始前如果没有下载示例模型,需要先通过终端下载 resnet 模型: cd myscripts/ mv resnet50-v2-7-frozen.onnx my_model.onnx 在myscripts目录下新建tvmcpythonintro.py 0、导入 from tvm.driver import tvmc 1、加载模型 将模型导入...

多一些不为什么的坚持 342

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

【TVM 学习资料】使用 Python 接口(AutoTVM)编译和优化模型

TVMC 教程介绍了如何用 TVM 的命令行界面(TVMC)编译、运行和调优预训练的模型 ResNet-50 v2。TVM 不仅是一个命令行工具,也是一个具有多种不同语言的 API 优化框架,极大方便了机器学习模型的使用。 本节内容将介绍与使用 TVMC 相同的基础知识,不同的是这节内容是用 Python API 来实现的。

HyperAI超神经 1139

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

初探TVM--通过TVM的python接口编译优化resnet50

通过TVM的python接口编译优化resnet50

shaojie_wang的博客 2844

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

TVM cpp_rtvm 原生推理工具实战:从 AutoTVM 调优、tvmc 编译到 Android/Adreno 端上部署与性能剖析

`rtvm` 是 TVM 仓库 `apps/cpp_rtvm` 中提供的一个原生推理工具,帮助开发者在完全独立的 C/C++ 环境中加载并运行 TVM 编译产物,从而摆脱对 Python 运行时和 RPC 宿主的依赖,直接把模型部署到 Android 等目标设备上。本文以 [apps/cpp_rtvm/README.md](https://link.gitcode.com/i/b471aa459f

gitblog_00816的博客 370

【TVM帮助文档学习】使用Python接口编译和优化模型(AutoTVM)

本文翻译自:Compiling and Optimizing a Model with the Python Interface (AutoTVM) — tvm 0.9.dev0 documentation 在Compiling and Optimizing a Model with TVMC — tvm 0.9.dev0 documentation中,我们介绍了如何使用TVM的命令行界面来编译、运行和调优预训练的视觉模型ResNet-50 v2。TVM不仅仅是一个命令行工具,它还是一个优化框架,带有许.

zx_ros的博客 1034

TVM 部署指南:使用 mrvl 将模型编译并运行于 Marvell MLIP(Octeon DPU / 模拟器)

本文基于 TVM 官方文档 [mrvl.rst](https://link.gitcode.com/i/7ca74fd9408363616adbab75eb9528ed) 编写,面向希望在 Marvell(Marvell(R))Octeon 系列 DPU 上部署深度学习推理模型的开发者。文章完整覆盖"启用 mrvl 的 TVM 构建 → TVMC 命令行编译 → 模拟器运行 → Python AP

gitblog_00833的博客 423

TVM源码安装完全指南:从环境配置到踩坑排错的实战经验

深度学习编译器是连接训练模型与高效推理的关键技术,其核心价值在于针对特定硬件自动生成优化代码,从而显著提升模型在CPU、GPU等设备上的运行速度。在深度学习模型部署场景中,编译器栈的配置质量直接影响推理性能与开发效率。作为该领域的代表框架,Apache TVM的安装过程涉及C++编译链、LLVM后端、GPU驱动及Python环境等多套体系的协同,版本兼容性问题常成为初学者入门的第一道门槛。本文从编译工具链选型入手,系统讲解源码构建、CMake配置、Python包安装等关键环节,重点剖析LLVM版本匹配、子模

weixin_34413103的博客 480

TVM官方文档翻译入口

TVM官方文档翻译

zx_ros的博客 601

microTVM 实战指南:用 Apache TVM 在裸机微控制器上编译与运行深度学习模型

microTVM 是 Apache TVM 面向**裸机(bare-metal)微控制器**的扩展体系,它让开发者复用 TVM 统一的编译栈,把经过量化与优化后的模型部署到没有操作系统的 MCU 上。本文以 `apps/microtvm` 目录为主体,完整讲解其 Python 环境搭建、Arduino 与 Zephyr 模板工程、基于 CMSIS-NN 与 Arm Ethos-U55 的裸机推理

gitblog_07213的博客 365

TVM User Tutorial -- Compiling and Optimizing a Model with the Python Interface (AutoTVM)

Compiling and Optimizing a Model with the Python Interface (AutoTVM) Author: Chris Hoge 注:在练习这一节之前需要自行完成TVM的安装! 在 TVMC 教程中,我们介绍了如何使用 TVM 的命令行界面 TVMC 编译、运行和调整预训练的视觉模型 ResNet-50 v2。 TVM 不仅仅是一个命令行工具,它是一个优化框架,具有可用于多种不同语言的 API,为您在使用机器学习模型时提供了极大的灵活性。 在本教程中,我们将介

zachariah2000的博客 656

TVM 裸机部署实战:基于 Cortex-M55 与 CMSIS-NN 运行人员检测模型

本指南讲解如何在 TVM 开源仓库自带的示例工程中,把量化(int8)神经网络模型编译到 **Arm Cortex-M55 裸机(bare metal)环境**,并借助 **CMSIS-NN** 库在 Arm Corstone-300 固定虚拟平台(FVP)上完成一次完整的人员检测推理。读者将掌握从环境准备、tvmc 编译参数、C 头文件数据生成到裸机应用构建与仿真运行的完整链路,并了解 TVM

gitblog_00721的博客 399

TVM 微控制器实战:在 Arm Cortex-M55 与 Ethos-U55 NPU 裸机环境运行 Mobilenet v2

本指南围绕 Apache TVM 官方示例目录 [apps/microtvm/ethosu](https://link.gitcode.com/i/9a74ec1fc3b501edd2ebc2381c8a135a) 展开,完整讲解如何在**无操作系统的裸机(bare metal)环境**下,把量化(int8)MobileNet v2 图像分类模型部署到基于 Arm Corstone-300 平台的

gitblog_00462的博客 637

TVM + Zephyr RTOS + CMSIS-NN 实战:在 Arm Cortex-M55 上部署关键词识别模型

本篇技术指南以 TVM 仓库中的 `apps/microtvm/zephyr_cmsisnn` 示例工程为主线,讲解如何将经过 INT8 量化的关键词识别(Keyword Spotting)模型,通过 TVM 的 AOT(Ahead-of-Time)执行器与栈分配(stack allocation)内存策略,部署到基于 Zephyr RTOS 的 Arm Corstone-300 FVP 虚拟平台

gitblog_00661的博客 289
上一篇: 学术科研无从下手?27 条机器学习避坑指南,让你的论文发表少走弯路
下一篇: 【TVM 学习资料】使用 Python 接口(AutoTVM)编译和优化模型
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值