【tvm官网教程01】设计和架构-3-pass

最新推荐文章于 2025-11-18 09:49:57 发布
原创 最新推荐文章于 2025-11-18 09:49:57 发布 · 395 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

【tvm官网教程01】设计和架构-3-pass

目的

TVM学习（八）pass总结
qq_33287871的博客
04-11 1748
什么是pass？ Pass是TVM中基于relay IR进行的优化，目的是去除冗余算子，进行硬件友好的算子转换，最终能够提高硬件运行效率。由tensorflow等深度学习框架生成的图机构中，含有很多可以优化的算子，比如expand_dim，len等，其实在编译阶段完全可以优化掉，从而能够减少硬件的计算，以及避免出现硬件不支持的算子。 TVM中在include/tvm/ir/transform.h中对pass进行了抽象，主要包括PassContext，PassInfo，Pass，以及Sequential。其中
【TVM全文翻译】TVM: An Automated End-to-End Optimizing Compiler for Deep Learning
My Blogs
11-21 1394
目录 Abstract 1. Introduction 2. Overview 3. Optimizing Computational Graphs 4. Generating Tensor Operations 4.1 Tensor Expression and Schedule Space 4.2Nested Parallelism with Cooperation 4.3...
自定义pass编写
吴建明wujianming_110117
03-26 632
自定义pass编写 TVM是一个框架，抽象了机器学习加速器的异质性。有时，用户可能需要自定义一些分析和IR转换，使TVM适应自己的专用硬件。本文可帮助用户在TVM中编写自定义pass。 先决条件 在阅读本文之前，假设读者已经熟悉以下主题： • 在TVM中编写算法并进行调度。否则，请参见示例教程，例如 如何在CPU上优化GEMM。 • HalideIR的基本结构。否则，请参阅HalideIR/src/ir/IR.h以了解定义了IR节点的哪些属性。 • 访客设计模式。否则，请检查 Python AST模块以查看
【从零开始学深度学习编译器】五，TVM Relay以及Pass简介
I good vegetable a!
05-24 1533
0x0. 介绍 在前面几节的介绍中我们了解到了TVM是如何将ONNX前端模型转换为IR Module的，并且还剖析了TVM中的Relay算子和TOPI算子的扭转过程，注意Relay算子的最终计算也是基于TOPI算子集合完成的。然后我们在基于ONNX模型结构了解TVM的前端那篇文章的示例程序中还有一个很重要的细节没有介绍，即下面这几行代码： ###################################################################### # Relay Build
TVM 项目深度解析：如何编写自定义 Pass 优化计算图
gitblog_00022的博客
11-18 440
在深度学习编译器 TVM 中，Pass 是优化计算图的核心机制。本文将深入讲解如何在 TVM 中编写自定义 Pass，帮助开发者针对特定硬件架构进行深度优化。 ## Pass 基础概念 Pass 是 TVM 中对中间表示(IR)进行转换和优化的基本单元。它能够： 1. 分析计算图的特定模式 2. 对计算图进行变换和优化 3. 为后续优化阶段准备数据 TVM 提供了丰富的内置 Pass，但有
【tvm官网教程】开发者教程
B10030607的博客
04-22 476
【tvm官网教程】开发者教程目的1. 自定义pass2. 使用TVM Pass Infra3. 自定义数据类型 目的 TVM是一个框架，它抽象了机器学习加速器的异质性。有时，用户可能需要自定义一些分析和IR转​​换，以使TVM适应自己的专用硬件。本教程可帮助用户在TVM中编写自定义通行证。 1. 自定义pass 2. 使用TVM Pass Infra 3. 自定义数据类型 ...
【tvm官网教程01】设计和架构-2-runtime
B10030607的博客
04-23 1265
【tvm官网教程01】设计和架构-2-runtime1. runtime系统1.1 PackedFunc1.2 Module1.3 远程部署1.4 TVM object和编译器栈1.5 runtime具体实现2. debugger3. Relay虚拟机4. Module序列 1. runtime系统 TVM支持多种编程语言用于编译栈的开发和部署。 runtime需要解决的难题有： 部署：从python / javascript / c ++语言调用已编译的函数。 调试：在python中定义一个函数，然后从
TVM前端研究--Pass
欢迎订阅 -- 小源笔迹
11-01 1276
在 TVM 中，Pass 根据 IR 类型的不同分为 Relay 上的优化和 TIR 上的优化。因此，Relay 上的 Pass 包括通用的 pass，在 tvm.relay.transform 目录下，还有一些 Pass 包含系统信息或后端信息，在其他目录下如 AnnotateUsedMemory Pass 等。是包含了一个 Pass 所需的基本信息如 name 是 pass 名称，opt_level 表示将在哪个优化级别启用 pass，required 表示执行某个 pass 所需的 pass。
TVM Relay Pass探究
LF_AI的博客
10-19 876
引言Relay 是 TVM 中十分重要的基础组件之一，用于对接不同格式的深度学习模型以及进行模型的 transform。深度学习编译器的核心功能就是进行各种各样的 transform 变换，这个变换过程部分是由 Pass 来实现。当需要遍历计算图时，底层究竟是如何执行的？本文打算一探究竟。1. 简介Pass 两层设计：TIR 层，基于target的优化，主要涉及 lower 到 target...
TVM前端研究--Relay
欢迎订阅 -- 小源笔迹
10-29 1336
TVM前端之前用的NNVM，现在用的Relay，后面会往Relax和Unity方向转。先简单介绍一下。Relay的解释比较杂乱，按照论文和官方文档的解释它算是一个编译器框架或着IR(Intermediate Representation)。说是编译器框架有些大，说是IR他不单单可以做算子表示，还可以支持函数、类型等编程逻辑。
TVM Pass概述
Eurypterid的博客
02-28 1259
use pass infra Design and Architecture Pass又称transform，每一个transform要么把现有程序转换并优化为一个等价的程序，要么把程序lower到下层。relay/transform包括很多优化模型用的pass，包括常量折叠（constant folding）和死代码删除（dead-code elimination）等。 这里拿tests/python/relay/test_pass_fold_constant.py里的单测作为例子： import num
【从零开始学深度学习编译器】八，TVM的算符融合以及如何使用TVM Pass Infra自定义Pass
I good vegetable a!
06-14 1990
0x00. 前言 上篇文章系统的介绍了TVM Pass Infra，并解析了Relay树结构以及Constant Folding Pass的具体做法。这一节，我想先补充一下TVM Pass Infra的用法，然后再解析一下TVM中的一个非常重要的Pass即算符融合。 0x01. 如何使用TVM Pass Infra 关于TVM Pass Infra的介绍可以移步【从零开始学深度学习编译器】七，万字长文入门TVM Pass查看。 ...
深度学习编译中间件之NNVM(四)TVM设计理念与开发者指南
sanallen的专栏
02-28 9878
参考文档 http://docs.tvmlang.org/dev/index.html TVM Design and Developer Guide 本文档为官方指导手册的中文翻译版本，主要涉及到TVM的设计理念和开发者指南，适用于计划深入掌握TVM深度定制开发技术的开发者。 TVM运行时系统 TVM支持多种编程语言下的编译器堆栈开发和部署，针对本文档我们主要会介绍TVM运行时的关...
TVM代码库结构概述
Ahuier21
06-18 4406
前言 在看一个开源的项目，之前必须要先了解其代码库的组织结构以及每部分的功能作用。 tvm根目录 首先在TVM的的根目录下，有以下几个子目录，它们一起构成了大量的代码库。 Src：C++ code for operator compilation and deployment runtimes. 用于运算符编译和部署运行时的C++代码。 src/relay：Implementation ...
【tvm官网教程】AutoTVM:基于模板的自动调优
B10030607的博客
04-22 2545
【tvm官网教程】AutoTVM:基于模板的自动调优目的1. autotvm模块1.1 API get_config()1.2 class ConfigSpace1.2.1 define_split()1.2.2 class SplitEntity1.2.3 define_knob()1.3 task1.3.1 create1.4 measure1.4.1 measure_option1.5 tuner1.6 apply_history_best2. class Schedule1. 调优专用于GPU的高
【tvm官网教程】AutoSchedule:无模板的自动调度
B10030607的博客
04-22 1932
【tvm官网教程】AutoSchedule:无模板的自动调度目的1. 自动调度GPU的卷积层2. 为x86 CPU自动调度NN 目的 autotvm是基于模板的调优，效果依赖于手动设计的搜索空间。 auto-scheduler不再基于模板，用户只需要编写计算声明，而无需任何调度命令或模板。auto-scheduler可以自动生成一个较大的搜索空间，并在该空间中找到良好的调度。 1. 自动调度GPU的卷积层 不需要定义搜索空间，但是还是要指定一些调度参数，知道在搜索过程中如何进行测量。 定义计算： @auto
【tvm官网教程01】设计和架构-1
B10030607的博客
04-23 1888
【tvm官网教程01】设计和架构-1目的1. 编译流1.1 关键数据结构1.2 Transformations1.2.1 变换的分类1.2.2 relay/transform1.2.2.1 子函数1.2.2.2 overall问题1.2.3 tir/transform1.3 搜索空间和基于学习的transformation1.4 Target Translation1.5 Runtime Execution1.6 小结2. 逻辑组件2.1 tvm/support2.2 tvm/runtime2.3 tvm
大规模MIMO通信系统的发射端采用混合波束成形(Matlab代码实现）
最新发布
12-14
大规模MIMO通信系统的发射端采用混合波束成形(Matlab代码实现）内容概要：本文介绍了大规模MIMO通信系统中发射端采用混合波束成形的技术方案，并提供了基于Matlab的代码实现。混合波束成形结合了数字和模拟波束成形的优势，旨在提升系统频谱效率与能量效率，同时降低硬件成本和功耗。文中详细阐述了混合波束成形的基本原理、系统模型构建以及常用算法（如基于酉矩阵设计、迭代优化等）的设计思路与实现方法，通过仿真验证了不同算法在不同信道条件下的性能表现，帮助读者深入理解该技术的关键环节与优化方向。; 适合人群：具备通信工程、电子信息类专业背景，熟悉MIMO通信系统及Matlab编程的研究生、科研人员或相关领域工程师。; 使用场景及目标：①用于学习和复现大规模MIMO系统中的混合波束成形技术；②支撑科研项目中对波束成形算法的仿真验证与性能对比；③作为课程设计或毕业设计的技术参考资源。; 阅读建议：建议结合通信原理和阵列信号处理基础知识进行学习，重点关注系统建模与算法实现部分，动手运行并调试提供的Matlab代码，进一步尝试改进算法或扩展仿真场景以加深理解。
LLVM/TVM/MLIR之间有什么联系和递进关系
08-02
### 三级标题：LLVM、TVM与MLIR的技术联系与演进关系 LLVM 是一种通用的编译器基础设施，其核心设计围绕一种独立于语言的中间表示（IR），这种 IR 可以作为可移植的高级汇编语言，支持多种编程语言的前端和多种目标架构的后端[^1]。LLVM 的 IR 通过多次传递中的各种转换进行优化，具备模块化和可扩展性，广泛用于 C/C++、Rust 等语言的编译优化。 TVM 是一个专注于深度学习编译的框架，其 IR 设计支持多级优化和自动调度。TVM 的 IR 层不仅支持深度学习算子的表示，还能够通过调度原语（如 `split`、`reorder`）表达硬件特性与算法之间的映射关系[^2]。TVM 的优化策略包括自动调度、算子融合和内存优化，特别适合在异构硬件平台上进行高性能推理和训练。 MLIR（Multi-Level Intermediate Representation）则是一种更通用的中间表示框架，其核心优势在于 Dialect 系统。MLIR 支持从高层语言到低层硬件的多级 IR 表达，并允许不同层次的 IR 在统一命名空间中进行转换和优化。这种设计使得 MLIR 可以在不同抽象层级上进行协同优化，例如在高级 IR 中进行控制流优化，在低级 IR 中进行寄存器分配和指令调度[^3]。 LLVM 为 TVM 和 MLIR 提供了底层代码生成和优化能力。TVM 在其 IR 层中可以调用 LLVM 来生成高效的本地代码，而 MLIR 则可以直接将低层 IR 转换为 LLVM IR，并利用 LLVM 的优化 Pass Pipeline 进行进一步优化。这种架构使得 TVM 和 MLIR 可以复用 LLVM 的成熟优化技术，同时在其之上构建更高级的领域特定优化。 MLIR 的设计还受到 LLVM 的启发，但其目标是支持多级 IR 的协同优化。MLIR 的 Dialect 系统允许开发者定义特定领域的 IR，并在不同 Dialect 之间进行转换。这种机制使得 MLIR 能够更好地支持 AI 编译器的构建，例如将 TensorFlow 或 PyTorch 的高层 IR 转换为 TVM 或 LLVM 的低层 IR 进行执行[^3]。 在演进关系上，LLVM 是最早出现的通用编译器框架，TVM 则是在深度学习兴起后针对 AI 领域进行优化的编译器，而 MLIR 则是在 LLVM 和 TVM 的基础上进一步抽象出多级 IR 的通用编译器框架。这种演进关系反映了编译器技术从通用计算到领域特定计算（如 AI）再到多级抽象的趋势。 ### 示例代码：MLIR 中的 Dialect 转换 ```mlir // 定义一个简单的 Dialect def MyDialect : Dialect { let name = "mydialect"; let cppNamespace = "mydialect"; } // 使用该 Dialect 定义一个操作 def MyOp : Op<MyDialect, "my_op"> { let arguments = (ins F32:$input); let results = (outs F32:$output); let assemblyFormat = "$input attr-dict `->` $output"; } // 在 MLIR 中使用该操作 func @example() { %0 = mydialect.my_op %input : f32 -> f32 return %0 : f32 } ``` 上述代码展示了如何在 MLIR 中定义和使用一个自定义 Dialect，这种机制使得 MLIR 能够支持多级 IR 的协同优化。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值