【TVM 教程】在 Relay 中使用 Pipeline Executor

Unity导出到AS中真机测试apk没有问题,aab提交到GooglePlay审核通过,但是从Google Play下载的应用闪退问题 阅读详情

Apache TVM 是一个端到端的深度学习编译框架,适用于 CPU、GPU 和各种机器学习加速芯片。更多 TVM 中文文档可访问 →

Apache TVM 中文站​tvm.hyper.ai/

作者:Hua Jiang

本教程介绍如何将「Pipeline Executor」与 Relay 配合使用。

import tvm
from tvm import te
import numpy as np
from tvm.contrib import graph_executor as runtime
from tvm.relay.op.contrib.cutlass import partition_for_cutlass
from tvm import relay
from tvm.relay import testing
import tvm.testing
from tvm.contrib.cutlass import finalize_modules

img_size = 8

创建一个简单的网络,这个网络也可以是一个预训练的模型。​

创建一个由 convolution、batch normalization、dense 和 ReLU activation 组成的网络用于演示。

def get_network():
    out_channels = 16
    batch_size = 1
    data = relay.var("data", relay.TensorType((batch_size, 3, img_size, img_size), "float16"))
    dense_weight = relay.var(
 "dweight", relay.TensorType((batch_size, 16 * img_size * img_size), "float16")
 )
    weight = relay.var("weight")
    bn_gamma = relay.var("bn_gamma")
    bn_beta = relay.var("bn_beta")
    bn_mmean = relay.var("bn_mean")
    bn_mvar = relay.var("bn_var")
    simple_net = relay.nn.conv2d(
        data=data, weight=weight, kernel_size=(3, 3), channels=out_channels, padding=(1, 1)
 )
    simple_net = relay.nn.batch_norm(simple_net, bn_gamma, bn_beta, bn_mmean, bn_mvar)[0]
    simple_net = relay.nn.relu(simple_net)
    simple_net = relay.nn.batch_flatten(simple_net)
    simple_net = relay.nn.dense(simple_net, dense_weight)
    simple_net = relay.Function(relay.analysis.free_vars(simple_net), simple_net)
    data_shape = (batch_size, 3, img_size, img_size)
    net, params = testing.create_workload(simple_net)
 return net, params, data_shape

net, params, data_shape = get_network()

将网络拆分成两个子图。​

这个来自单元测试的名为「graph_split」的函数只是一个例子。用户可以创建自定义逻辑来拆分计算图。

import inspect
import os

tutorial_dir = os.path.dirname(inspect.getfile(lambda: None))
os.sys.path.append(os.path.join(tutorial_dir, "../../../tests/python/relay"))
from test_pipeline_executor import graph_split

将网络拆分成两个子图。

split_config = [{"op_name": "nn.relu", "op_index": 0}]
subgraphs = graph_split(net["main"], split_config, params)

生成的子图如下所示。

"""
#subgraphs[0])

 def @main(%data: Tensor[(1, 3, img_size, img_size), float16]) {
  %0 = nn.conv2d(%data, meta[relay.Constant][0] /* ty=Tensor[(16, 3, 3, 3), float16] */, padding=[1, 1, 1, 1], channels=16, kernel_size=[3, 3]) /* ty=Tensor[(1, 16, img_size, img_size), float16] */;
  %1 = nn.batch_norm(%0, meta[relay.Constant][1] /* ty=Tensor[(16), float16] */, meta[relay.Constant][2] /* ty=Tensor[(16), float16]*/, meta[relay.Constant][3] /* ty=Tensor[(16), float16] */, meta[relay.Constant][4] /* ty=Tensor[(16), float16] */) /* ty=(Tensor[(1,16, img_size, img_size), float16], Tensor[(16), float16], Tensor[(16), float16]) */;
  %2 = %1.0;
  nn.relu(%2) /* ty=Tensor[(1, 16, img_size, img_size), float16] */
 }

#subgraphs[1]

 def @main(%data_n_0: Tensor[(1, 16, 8, 8), float16] /* ty=Tensor[(1, 16, 8, 8), float16] */) {
  %0 = nn.batch_flatten(%data_n_0) /* ty=Tensor[(1, 1024), float16] */;
  nn.dense(%0, meta[relay.Constant][0] /* ty=Tensor[(1, 1024), float16] */, units=None) /* ty=Tensor[(1, 1), float16] */
 }

"""

用 cutlass target 构建子图。​

cutlass = tvm.target.Target(
 {
 "kind": "cutlass",
 "sm": int(tvm.target.Target("cuda").arch.split("_")[1]),
 "use_3xtf32": True,
 "split_k_slices": [1],
 "profile_all_alignments": False,
 "find_first_valid": True,
 "use_multiprocessing": True,
 "use_fast_math": False,
 "tmp_dir": "./tmp",
 },
    host=tvm.target.Target("llvm"),
)

def cutlass_build(mod, target, params=None, target_host=None, mod_name="default"):
    target = [target, cutlass]
    lib = relay.build_module.build(
        mod, target=target, params=params, target_host=target_host, mod_name=mod_name
 )
 return lib

使用 pipeline executor 在 pipeline 中运行两个子图。​

在 cmake 中将 USE_PIPELINE_EXECUTOR 和 USE_CUTLASS 设置为 ON。

from tvm.contrib import graph_executor, pipeline_executor, pipeline_executor_build

创建子图 pipeline 配置。将子图模块与 target 关联起来。使用 CUTLASS BYOC 构建第二个子图模块。

mod0, mod1 = subgraphs[0], subgraphs[1]
# 将 cutlass 作为 codegen。
mod1 = partition_for_cutlass(mod1)

获取 pipeline executor 配置对象。

pipe_config = pipeline_executor_build.PipelineConfig()

设置子图模块的编译 target。

pipe_config[mod0].target = "llvm"
pipe_config[mod0].dev = tvm.cpu(0)

将第二个子图模块的编译 target 设置为 cuda。

pipe_config[mod1].target = "cuda"
pipe_config[mod1].dev = tvm.device("cuda", 0)
pipe_config[mod1].build_func = cutlass_build
pipe_config[mod1].export_cc = "nvcc"
# 通过连接子图模块创建 pipeline。
# 全局输入将被转发到第一个名为 mod0 的模块的输入接口
pipe_config["input"]["data"].connect(pipe_config[mod0]["input"]["data"])
# mod0 的第一个输出会转发到 mod1 的输入接口
pipe_config[mod0]["output"][0].connect(pipe_config[mod1]["input"]["data_n_0"])
# mod1 的第一个输出将是第一个全局输出。
pipe_config[mod1]["output"][0].connect(pipe_config["output"][0])

pipeline 配置如下:

"""
print(pipe_config)
 Inputs
 |data: mod0:data

 output
 |output(0) : mod1.output(0)

 connections
 |mod0.output(0)-> mod1.data_n_0
"""

构建 pipeline executor。​

with tvm.transform.PassContext(opt_level=3):
    pipeline_mod_factory = pipeline_executor_build.build(pipe_config)

输出结果:

/workspace/python/tvm/driver/build_module.py:267: UserWarning: target_host parameter is going to be deprecated. Please pass in tvm.target.Target(target, host=target_host) instead.
 "target_host parameter is going to be deprecated. "

将参数配置导出到一个文件中。

directory_path = tvm.contrib.utils.tempdir().temp_dir
os.makedirs(directory_path, exist_ok=True)
config_file_name = pipeline_mod_factory.export_library(directory_path)

使用 load 函数创建和初始化 PipelineModule。​

pipeline_module = pipeline_executor.PipelineModule.load_library(config_file_name)

运行 pipeline executor。​

分配输入数据。

data = np.random.uniform(-1, 1, size=data_shape).astype("float16")
pipeline_module.set_input("data", tvm.nd.array(data))

以 pipeline 模式运行两个子图,异步或同步获取输出。以下示例为同步获取输出。

pipeline_module.run()
outputs = pipeline_module.get_output()

使用 graph_executor 进行验证。​

用 graph_executor 依次运行这两个子图,得到输出。

target = "llvm"
dev0 = tvm.device(target, 0)
lib0 = relay.build_module.build(mod0, target, params=params)
module0 = runtime.GraphModule(lib0["default"](dev0))
cuda = tvm.target.Target("cuda", host=tvm.target.Target("llvm"))
lib1 = relay.build_module.build(mod1, [cuda, cutlass], params=params)
lib1 = finalize_modules(lib1, "compile.so", "./tmp")

dev1 = tvm.device("cuda", 0)

module1 = runtime.GraphModule(lib1["default"](dev1))

module0.set_input("data", data)
module0.run()
out_shape = (1, 16, img_size, img_size)
out = module0.get_output(0, tvm.nd.empty(out_shape, "float16"))
module1.set_input("data_n_0", out)
module1.run()
out_shape = (1, 1)
out = module1.get_output(0, tvm.nd.empty(out_shape, "float16"))

输出结果:

/workspace/python/tvm/driver/build_module.py:267: UserWarning: target_host parameter is going to be deprecated. Please pass in tvm.target.Target(target, host=target_host) instead.
 "target_host parameter is going to be deprecated. "

验证结果。

tvm.testing.assert_allclose(outputs[0].numpy(), out.numpy())

下载 Python 源代码:using_pipeline_executor.py

下载 Jupyter Notebook:using_pipeline_executor.ipynb

面向具身智能的通用AI编译器:从模型到异构硬件的实战部署指南 AI编译器是连接深度学习模型与底层硬件执行的关键技术,其核心原理在于将高级计算图转换为针对特定硬件优化的低级代码。通过计算图优化、算子融合和硬件感知调度,AI编译器能显著提升模型推理效率并降低资源消耗,这对于嵌入式系统和边缘计算场景具有重要技术价值。在机器人、自动驾驶等具身智能领域,面对异构硬件和实时性要求,通用AI编译器的作用尤为突出。本文以TVM为例,结合多模态大模型和算法流水线等热词,深入解析如何利用编译器技术解决从算法到硬件的部署难题,为复杂AI系统的工程化落地提供实践思路。 阅读详情

相关推荐

神经信号建模与多模态时序对齐实战指南

神经信号建模是将生物电活动转化为可计算表征的基础过程,其核心在于理解非平稳、低信噪比、毫秒级时序数据的物理本质与统计特性;多模态时序对齐则解决fMRI、EEG、眼动等异构数据在微秒至秒量级的时间标度统一问题,依赖硬件同步、延迟标定与生物物理约束补偿。该技术组合显著提升脑机接口、癫痫预警与认知状态解码等任务的可靠性与临床可信度,支撑从实验室原型到边缘部署的闭环落地。本文聚焦神经信号建模与多模态时序对齐两大关键能力,在真实交叉场景中拆解接口重定义、特征蒸馏与可解释性实现路径。

hwpokay的专栏 496

aab 找不到so文件 split_config.arm64_v8a.apk

这个很蛋疼,android 9的一切正常,android12的第一次运行正常,第二次再运行就闪退,android13的也一切正常,找了很久才找到解决方案。测试的时候不能打aab包测试,apk一切正常,上传到google后台安装测试,闪退,日志如下。

伯爵的专栏 3401

Unity--AB包管理插件-xasset

将xasset目录中的Settings文件,Script Play Mode选项卡设置为Inrement,模拟真实AB包读取。(这会导致每次开始运行时提示将数据迁移到streaming asset)创建SplitConfig文件,在xasset目录中选中Settings文件,将创建的SplitConfig文件赋值给对应参数。创建Build文件,将Group放入Groups菜单中。

qq_50682713的博客 2837

APK拆分配置

虽然你应该尽可能建立一个单一的APK来支持所有的目标设备,这可能会导致用一个非常大的APK处理支持多个屏幕密度或应用二进制接口(ABIs)。 减少APK大小的一种方法是创建多个APK,其中包含特定屏幕密度或ABI的文件。Gradle使用APK拆分来创建单独的APK,这些APK仅包含特定于每个密度或ABI的代码和资源。 本页介绍如何配置构建来完成APK拆分。

Sayangnala的专栏 3226

神经网络编译器TVM,autoTVM自动代码优化及c++部署cuda实践

内容简介:   本文介绍了一种能够让你的神经网络跑的飞起的技术方法,截止目前已经有一定知名度,把这个方法学会,应该能有一定的收获.特别是在模型提速层面有不小的提速,同时,值得注意的时,这种autotvm是一种神经网络推理代码的搜索,其本质是自动生成了推理的代码,并且帮助你编译成对应的平台,更加需要提一嘴的事情是,autotvm没有改变数学层面的推理部分表达,该是wx+b 亦或者是激活函数部分是没有变化的,不会像比如量化的那种优化方法会造成一定的精度损失.所以这个方法值得尝试!下面是本个教程的所有代码仓库,

m0_62789066的博客 1975

【信息科学与工程学】计算机科学与自动化——第一百九十篇 操作系统用户态开发 02

​ 1. 7点stencil: ui,j,kn+1​=c0​ui,j,kn​+c1​(ui−1,j,kn​+ui+1,j,kn​+ui,j−1,kn​+ui,j+1,kn​+ui,j,k−1n​+ui,j,k+1n​)。7. 共轭系数 βk​=rkT​rk​rk+1T​rk+1​​。5. 总时间:T=(P−1)(α+km​β)+(k−1)(α+km​β)=(P+k−2)α+k(P+k−2)m​β。​ 1. 第一层Bloom Filter容量 m1​,误判率 p1​=(1−e−kn1​/m1​)k。

weixin_49199313的博客 13

打包aab_[Android][AAB]使用Google Play的AAB打包,出现页面渲染失败

我们最近使用Google推荐的Android Application Bundle打包,但是发现Weex页面都没法显示了,正常打包的APK版本是可以显示的。具体的错误信息如下:2019-08-13 11:26:16.550 28364-28476/com.hellotalk W/System.err: java.lang.ClassNotFoundException: Didn't find cl...

weixin_39580950的博客 3153

【Flink】Flink PipelineExecutor 体系

文章目录1.概述2.AbstractJobClusterExecutor 1.概述 PipelineExecutor负责执行一个{@link Pipeline}的实体,即一个用户作业。 其继承体系如下 2.AbstractJobClusterExecutor

九师兄 803

TVM入门:TVM编译Pytorch模型工作流程

TVM编译Pytorch模型工作流程 TVM官方文档参考 0.导包 import tvm from tvm import relay import numpy as np from tvm.contrib.download import download_testdata # PyTorch imports import torch import torchvision 1.加载一个模型 这里以resnet18为例 model_name = "resnet18" model = getattr(

weixin_44742084的博客 2485

Isaac Sim 车辆动力学:从参数调优到户外仿真的挑战与实战

本文深入探讨了Isaac Sim在车辆动力学仿真中的应用,从参数调优到户外场景模拟的实战经验。详细解析了悬架系统、轮胎物理模型等核心参数的设置技巧,并分享了应对户外仿真挑战的实用方案。通过Vehicle Wizard高级使用和传感器配置,帮助开发者高效完成车辆仿真与算法开发。

weixin_29192211的博客 405

恒定跨导的奥秘:基于1:3电流镜的轨到轨运放输入级设计与仿真验证

本文深入探讨了基于1:3电流镜的轨到轨运放输入级设计,重点分析了恒定跨导(GM)的实现原理与仿真验证。通过精确的电流补偿机制和工艺参数优化,解决了传统运放在电源轨附近跨导下降的问题,为模拟集成电路设计提供了可靠的低电压解决方案。

weixin_33686714的博客 518

全栈AI开发环境:从芯片到算法的硬件开发完整解决方案

全栈AI开发环境是连接AI算法与硬件架构的关键技术平台。其核心原理在于通过硬件抽象层和模型编译器,打通从深度学习框架到硬件指令集的完整技术栈。这种环境的技术价值在于解决了传统开发中算法与硬件团队之间的协作断层,实现模型训练与硬件部署的无缝衔接。在应用场景上,全栈环境特别适用于芯片设计验证、边缘计算部署和算法硬件协同优化等场景。本文基于PyTorch和TVM等热词,详细探讨了如何构建支持FPGA、ASIC等多种硬件的全栈AI开发环境,为硬件开发者提供从模型编译到性能调优的完整实践指南。

weixin_34204722的博客 414

QComboBox设置最大显示数量多余的用滑动条,以及QComboBox::setMaxVisibleItems()不起作用的问题

QComoboBox是Qt封装的一个选择框的东西,但是我在使用过程中有一点感觉很不好,如图: 不论你往里面添加多少个它都会给你显示全部,甚至给你铺满全屏,后来看了官方文档发现有个setMaxVisibleItems()的方法,我欣喜若狂啊,终于特么的能解决了,但是,很遗憾,不知为啥,我设置上之后并没有起作用,依然会显示全部,后来搜了百度发现有个人是这样解决的 QComboBox *box = ne...

Aboveground的博客 4920

【TVM帮助文档学习】使用Python接口编译和优化模型(AutoTVM)

本文翻译自:Compiling and Optimizing a Model with the Python Interface (AutoTVM) — tvm 0.9.dev0 documentation 在Compiling and Optimizing a Model with TVMC — tvm 0.9.dev0 documentation中,我们介绍了如何使用TVM的命令行界面来编译、运行和调优预训练的视觉模型ResNet-50 v2。TVM不仅仅是一个命令行工具,它还是一个优化框架,带有许.

zx_ros的博客 1034

Stanford CS230深度学习(一)

斯坦福CS230可以作为深度学习的入门课,最近我也在跟着看视频、完成编程作业。首先列出使用的资源链接,然后给出第一课的理解和编程作业的代码。 所有资料如下: 一、课程连接: b站课堂讲授版:Stanford CS230(吴恩达 深度学习 Deep Learning | Autumn 2018)(中英双字幕) (一共10个视频,每周一个,但是每个视频对应下面的配套视频较多) Coursera配套视...

weixin_44750583的博客 2382

笔试题-2023-芯原-数字前端设计or验证【纯净题目版】

笔试题-2023-芯原-数字前端设计or验证【纯净题目版】

w0shishabi的博客 5687

【TVM 教程】为 x86 CPU 自动调优卷积网络

​首先在 Relay 前端 API 中定义网络,可以从加载一些预定义的网络,也可以使用 Relay 构建。还可以从 MXNet、ONNX 和 TensorFlow 加载模型。本教程用 resnet-18 作为调优示例。"""获取网络的符号定义和随机权重"""# MXNet 模型的示例else:# 将「llvm」替换为你的 CPU 的 target。# 例如,对于支持 Intel Xeon Platinum 8000 系列的 AWS EC2 c5 实例,

HyperAI超神经 413

SIWAVE仿真PCB操作说明

使用SIWAVE进行PCB仿真提取S参数的操作

sinat_15150363的博客 3073

安卓崩溃日志基础知识扫盲1

该系列教程会带你一字一行解读崩溃日志,希望对你排查定位bug有所帮助。

chuyouyinghe的专栏 562

Win10 开机突然蓝屏错误代码0xc0000001安全模式也进不了,不用重装系统怎么修复?(已解决)九个解决参考方案

Win 10专业版HP480G7。

本博客,博文仅代表个人操作经验,不能完全解决你的问题,仅供参考,佛系回复。 1万+

Hermes Agent 常见报错排查与问题解决

Hermes Agent 常见报错排查指南 摘要 本文全面梳理了 Hermes Agent 使用过程中的10类常见报错,按阶段划分为安装期、运行期认证类、后端基础设施类和长任务执行类四大类,并提供了系统化的排查流程: 安装期问题:包括命令未找到和Python版本不兼容,主要检查PATH环境和Python版本是否符合要求 认证类问题:涉及API Key认证失败和速率限制,需要验证密钥配置和配额状态 基础设施问题:包含Docker报错、MCP连接失败和OAuth令牌过期,需检查相关服务状态 执行类问题:主要是上

简简单单Onlinezuozuo 1351

Android NDK开发详解大屏设备之activity 嵌入二

原生开发套件 (NDK) 是一套工具,使您能够在 Android 应用中使用 C 和 C++ 代码,并提供众多平台库,您可使用这些平台库管理原生 activity 和访问实体设备组件,例如传感器和触控输入。NDK 可能不适合大多数 Android 编程初学者,这些初学者只需使用 Java 代码和框架 API 开发应用。

hnjzfwy的博客 1643

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

【TVM 教程】使用 Relay Visualizer 可视化 Relay

​构建一个包含多个GlobalVar的 Relay IR 模块示例。定义一个add函数,并在 main 函数中调用。​有时想要强调感兴趣的信息,或者针对特定用途对事物进行不同的解析,需要遵守接口来定制解析器,下面演示如何自定义relay.var的解析器,需要实现抽象接口。self,# 没有引入边缘。所以返回一个空列表# 将其他类型委托给其他解析器。将解析器和感兴趣的渲染器传递给 visualizer,这里只用终端渲染器。

HyperAI超神经 626

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

TVM踩坑记录

TVM踩坑记录安装新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 安装 参照官网。 安装完成后安装官网quic...

BokyLiu的博客 5140

cmake 交叉编译_一步一步解读神经网络编译器TVM(二)——利用TVM完成C++端的部署...

“OLDPAN博客”,侃侃而谈人工智能深度酝酿优质原创文!阅读本文需要 8 分钟前言在上一篇文章中,我们简单介绍了什么是TVM以及如何利用Relay IR去编译网络权重然后并运行起来。TVM上述文章中的例子很简单,但是实际中我们更需要的是利用TVM去部署我们的应用么,最简单直接的就是在嵌入式系统中运行起我们的神经网络模型。例如树莓派。这才是最重要的是不是?所以嘛,在深入TVM之前还是要走...

weixin_39934257的博客 687

[Python]使用Python中的config配置

Python中有ConfigParser类,可以很方便的从配置文件中读取数据(如DB的配置,路径的配置),所以可以自己写一个函数,实现读取config配置。 config文件的写法比较简单,[section]下配置key=value,一下是例子:db.conf #配置数据库 [database] dbhost=127.0.0.1 dbport=3366 dbname=test d...

weixin_30708329的博客 2933
上一篇: HyperAI超神经 x Apache Pulsar | 9 月 22 日,北京 Pulsar Meetup 不见不散!
下一篇: 大人,文生图的时代又变了!SD核心成员自立门户,首个模型FLUX.1硬刚SD 3和Midjourney
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值