TVM 中文站正式上线!最全机器学习模型部署「参考书」它来了

TVM、LLVM、CUDA 是三个不同的项目或技术 TVM:主要用于优化和部署深度学习模型,支持多种硬件后端,包括CPU和GPU。LLVM:一个通用的编译器框架,用于开发编译器和相关工具,支持多种编程语言和硬件架构。CUDA:NVIDIA的并行计算平台和编程模型,用于在GPU上进行通用计算,显著提高计算密集型任务的性能。通过将这三者结合起来,开发者可以实现从深度学习模型的优化编译到高效的GPU加速计算,充分利用各种硬件平台的计算能力。 阅读详情

内容一览: 近日,由 MLC 社区志愿者共同翻译校对的 TVM 中文文档正式发布,现已托管至超神经官网 Hyper.AI。

关键词: TVM 开源 机器学习编译器

本文首发自微信公众号:HyperAI超神经

面世5年,TVM成备受追捧的深度学习编译栈

2017 年 8 月,时任华盛顿大学博士生的陈天奇及其团队成员,正式发布 TVM。

这是一个开源的模型编译框架,全称 Tensor Virtual Machine,意为张量虚拟机,旨在将机器学习算法自动编译成可供下层硬件执行的机器语言,从而利用多种类型的算力。
在这里插入图片描述

TVM 系统概览:适用于 CPU、GPU 和各种机器学习加速芯片

论文:

TVM: An Automated End-to-End Optimizing Compiler for Deep Learning

在知乎问题「如何评价陈天奇团队新开源的 TVM?」中,陈天奇更是亲自解读,称:

TVM 尝试从更高的抽象层次上总结深度学习 op 的手工优化经验,用来使得用户可以快速地以自动或者半自动的方法探索高效的 op 实现空间。

在这里插入图片描述

这一问题在知乎收获将近 26 万的阅读

开源近 5 年以来,TVM 凭借其灵活性、高性能以及对任意硬件的适配程度, 备受众多大厂的青睐,NVIDIA、AMD、ARM、AWS、Facebook 等厂商,均采用 TVM 这一开源的端到端深度学习硬件编译栈,以加强对任意硬件的支持。

耗时 3 个月,v0.10.0 中文文档上线

目前网络上 TVM 相关的中文学习资料比较零散, 仅有的一些中文资料多为相关行业从业者或爱好者,根据自己学习或工作需要整理输出的。

为了帮助国内开发者系统性学习 TVM,促进机器学习编译在国内的发展,MLC (Machine Learning Compilation) 社区社区志愿者从文档开始,以开源协作的方式对 TVM 官方文档 v0.10.0 进行了本土化。

在这里插入图片描述

TVM 中文文档由超神经 Hyper.AI 托管

传送门→https://tvm.hyper.ai/

中文文档在 TVM 官网英文文档的架构基础上,做了更符合国人阅读习惯的调整,从安装 TVM 到使用开发,提供了一系列可供参考的实用文档。

在这里插入图片描述

安装 TVM 共包括 3 种方法 源码安装、Docker镜像安装以及NNPACK Contrib安装

在用户教程部分,也提供了十多个教程供开发者快速搜索定位学习。

在这里插入图片描述

目前,TVM 中文文档仍在更新中 , 我们希望能有更多关心、关注机器学习编译的开发者加入其中,从社区中获得价值,并为社区创造价值。

我们欢迎一切形式的贡献,包括但不限于:

  • 认领 TVM 英文文档的翻译及 Review

  • 提交 Issue 或 PR,让中文文档更规范

  • 推广项目教程、博文,并积极参与社区活动

  • More

开源社区一切源自社区,一切回馈社区,现在访问 TVM 中文文档 GitHub Repo,期待你成为我们的一员,为中文领域机器学习编译器的发展贡献力量!

在 GitHub ⭐️ TVM 英文:

https://github.com/apache/tvm

在 GitHub ⭐️ TVM 中文:

https://github.com/hyperai/tvm-cn

致谢:

TVM 中文站点顺利上线,离不开 MLC.AI 社区的大力支持,衷心感谢各位社区成员的积极参与和协助:

在这里插入图片描述

从左到右他们分别是:

白杨 姜汉 冯思远 熊勉 刘通晓 潘相瑜

—— 完 ——

自学笔记之TVM编译器框架 ,核心特性,模型优化概述,AI应用落地 TVM(Tensor Virtual Machine)是一个开源的机器学习编译器框架,由华盛顿大学陈天奇博士主导开发。它旨在为各种硬件后端提供统一的编程模型,使得开发者能够便捷地将深度学习模型编译成不同硬件平台可执行的代码。TVM 支持多种深度学习框架(如 TensorFlow、PyTorch、ONNX 等)的模型导入,并提供了一系列工具来优化和部署模型。总的来说,TVM 是一个功能强大、灵活且高效的机器学习编译器框架,它通过提供一系列的工具和优化策略,帮助开发者在不同的硬件平台上高效地部署深度学习模型。 阅读详情

相关推荐

TVM(一):简介与安装

简介 TVM是一个用于深度学习系统的编译器堆栈。 它旨在缩小以生产力为中心的深度学习框架与以性能和效率为中心的硬件后端之间的差距。TVM与深度学习框架合作,为不同的后端提供端到端编译。 换句话说,TVM就是一种将深度学习工作负载部署到硬件的端到端IR(中间表示)堆栈。可以表述为一种把深度学习模型分发到各种硬件设备上的、端到端的解决方案。 GitHub:https://github.com/dmlc...

u014448054的博客 1万+

TVM神经编译器

深度学习编译器

林宋的搬砖流水账 1965

TVM虚拟机白皮书翻译中文文档(上)

本文是作者对TVM虚拟机文档的精翻,我将编写简单的markdown文档,将一些注释通过括号[ ]表示,并结合自己的理解来做一些扩充,之所以选择优快云平台,是因为这里的中国用户人口基数大,网站不需要代理即可访问,其次希望自己的热爱和分享可以为TON提供支持。后续本人建立关于ton fift 拓展开发,fiftbase文档,以及程序设计的相关课程本文翻译为2020年,tvm白皮书原作者: 尼古拉·杜罗夫 2020年3月23日翻译 : krasha摘要。

zhuqiyua的博客 1346

1-TVM 原理、应用场景、软件架构及算子融合

TVM(Tensor Virtual Machine)是一个开源的深度学习编译器框架,旨在优化机器学习模型在多种硬件平台上的部署。其核心原理是将高级模型表示(如 TensorFlow、PyTorch 模型)编译为针对特定硬件优化的低级代码,实现高效推理。TVM 的工作流程包括前端解析、中间优化、后端代码生成和运行时支持。其优势在于灵活性和硬件无关性,通过自动化调度和算子优化,显著降低手动优化的工作量,同时提升模型推理速度和内存效率。 TVM 广泛应用于边缘设备部署、云端推理、异构硬件加速、模型压缩与优化以及

qq_36770492的博客 774

tvm-0.8.0-1.5.7-API文档-中文版.zip

赠送jar包:tvm-0.8.0-1.5.7.jar; 赠送原API文档:tvm-0.8.0-1.5.7-javadoc.jar; 赠送源代码:tvm-0.8.0-1.5.7-sources.jar; 赠送Maven依赖信息文件:tvm-0.8.0-1.5.7.pom; 包含翻译后的API文档:tvm-0.8.0-1.5.7-javadoc-API文档-中文(简体)版.zip; Maven坐标:org.bytedeco:tvm:0.8.0-1.5.7; 标签:bytedeco、tvm、中文文档、jar包、java; 使用方法:解压翻译后的API文档,用浏览器打开“index.html”文件,即可纵览文档内容。 人性化翻译,文档中的代码和结构保持不变,注释和说明精准翻译,请放心使用。

LTR-390UV-01对比VEML6075:5个真实项目中的选型避坑指南

本文对比了LTR-390UV-01和VEML6075两款环境光传感器在5个真实项目中的表现,提供了选型避坑指南。通过智能手环、农业温室、紫外线消毒柜等场景的实测数据,分析了动态范围、抗干扰性、温度稳定性等关键差异,帮助开发者在成本与性能间做出最优选择。

weixin_28733777的博客 220

首个完整 Triton 中文文档上线!开启 GPU 推理加速新时代

Triton中文百宝书上线啦

HyperAI超神经 1960

用FPGA在HDMI上显示自定义字符:从COE文件到OSD叠加的保姆级教程

本文详细介绍了如何在FPGA上实现HDMI视频流的OSD字符叠加技术,从COE文件生成到动态区域控制的完整流程。通过Verilog代码示例和实战技巧,帮助开发者掌握字符ROM设计、像素坐标追踪和动态混合等核心技术,适用于视频监控、系统状态显示等应用场景。

weixin_28720767的博客 231

TVM 从入门到精通 | 安装 TVM (Part 1)

手把手教学之从源码安装 TVM

HyperAI超神经 3203

onnxruntime-gpu版本选择与CUDA环境配置实战指南

本文是onnxruntime-gpu版本选择与CUDA环境配置的实战指南。针对AI模型部署中常见的GPU无法调用问题,核心在于确保onnxruntime-gpu版本与系统CUDA Toolkit版本严格匹配。文章详细讲解了如何精准确定CUDA版本、查找官方对应关系、执行正确安装命令,并通过完整测试脚本验证GPU是否成功启用,最后提供了常见问题排查与生产环境调优建议。

weixin_29164091的博客 522

【EPICS学习记录】根据官方教程创建一个IOC应用

参照官网给出的IOC创建教程逐步操作完成了一个IOC应用的创建,官网教程中有部分过程表述的不清晰,自己摸索之后完成了IOC的创建,并把流程记录下来。其中有一些操作不是很理解,有问题或者建议欢迎指正。

yifeng_H的博客 3661

【TVM帮助文档学习】TVM语言参考

Relay 是一种函数式的、可微的编程语言。它是一种面对机器学习领域的具有良好表达能力的IR(intermediate representation 中间表达)。Relay支持代数数据类型,闭包,控制流和递归,这使得它可以直接表示比基于计算图IR的(模型)更复杂的模型。Relay还包括一种使用type relation的依赖类型形式,用来处理对参数shape有复杂要求的算子的shape分析。 Relay具有良好的可扩展的,便于机器学习研究人员和开发者开发新的大规模程序转换和优化。 下面将分别描述了Relay

zx_ros的博客 441

Android蓝牙中的Rfcomm协议介绍

RFCOMM(Radio Frequency Communications)是一种基于蓝牙技术的串口仿真协议,以下是详细介绍:一、协议概述二、工作原理三、应用场景

手机-手表蓝牙开发工程师的博客 713

[编译器]-3 TVM分层设计

TVM(Tensor Virtual Machine)是一个开源的端到端深度学习编译器堆栈,旨在优化和生成针对各种硬件平台的高性能机器学习模型代码。

wendywm0496的博客 1443

16、二阶差分功耗分析(DPA)的再审视

本文深入探讨了二阶差分功耗分析(DPA)中的关键问题,包括不同组合函数的性能、信息论分析以及在有轮廓和无轮廓攻击场景下的实验结果。通过对掩码AES和DES的模拟和实际攻击实验,研究了归一化乘积、求和和绝对差值等组合函数在不同噪声水平下的效率,并强调了信息论分析在评估侧信道对抗措施中的重要性。

leaf8的博客 118

Dify智能体开发:Dify文件上传

相较于聊天文本,文档文件能够承载大量的信息,例如学术报告、法律合同。受限于 LLM 自身仅能够支持文件或图片,难以获取文件内更加丰富的上下文信息,应用的使用者不得不手动复制粘贴大量信息与 LLM 对话,增加了许多不必要的使用成本。

王国平的博客 2591

一个Tensor在深度学习框架中的执行过程

这篇文章以oneflow.relu这个Op为例,介绍了要执行这个Op需要依赖的Interpreter和VM机制,对想了解OneFlow Eager执行机制的朋友希望有一点帮助。

OneFlow深度学习框架 2228

SAP 中租赁资产的实现需区分经营租赁与融资租赁,核心围绕资产主数据配置、折旧与利息设置、科目分配及业务操作展开

摘要:SAP系统租赁资产管理需区分经营租赁与融资租赁,通过SPRO配置资产主数据、折旧范围、利息计算及科目分配。关键步骤包括:激活折旧范围利息计算(OABZ)、设置租赁资产类别(OAYZ)、维护总账科目(AO90)及创建租赁资产主数据(AS01)。业务操作涵盖资产资本化(ABZON)、折旧利息过账(AFAB)、租金支付(F-53)及终止处理(ABUMN)。核心配置要点在于准确设置租赁类型、利率参数和科目联动,确保系统自动计算折旧与利息并生成正确凭证。

金牌架构师 1073

华为融合位置服务器,融合服务器

融合服务器 内容精选换一换随着深度学习的广泛应用,大量的深度学习框架及深度学习硬件平台应运而生,但不同平台的神经网络模型难以在其他硬件平台便捷的运行,无法充分利用新平台的运算性能。TVM(Tensor Virtual Machine)的诞生解决了以上问题,它是一个开源深度学习编译栈,它通过统一的中间表达(Intermediate Representation)堆栈随着深度学习的广泛应用,大量的深度...

weixin_35954566的博客 637

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

TVM编译错误终极排查指南:从Parser到Linker的全链路解决方案

TVM(Tensor Virtual Machine)作为开源的深度学习编译器,帮助开发者在CPU、GPU和各种专用加速器上高效运行深度学习模型。然而,在实际使用过程中,从模型解析到最终链接的整个编译链路中,各种错误常常让开发者头疼不已。本指南将为你提供完整的TVM编译错误排查方案!🚀 ## 🔍 TVM编译错误常见类型分析 在TVM编译过程中,错误主要出现在以下几个关键环节: ### 模

gitblog_00510的博客 515

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

打破硬件壁垒:TVM 助力 AI技术跨平台部署

TVM(Tensor Virtual Machine, 张量虚拟机)是一种开源的模型编译框架,旨在将机器学习模型自动编译成可供下层硬件执行的机器语言,从而利用多种类型的算力。其工作原理是,先将深度学习模型进行优化推理、内存管理与线程调度,再借用LLVM框架将模型部署在CPU、GPU、FPGA、ARM等硬件设备上。本书全面解析TVM的主要功能,帮助读者理解TVM工作原理,以及使用 TVM对深度学习与机器学习进行优化与部署。

程序边界 4888

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

深度学习编译中间件之NNVM(四)TVM设计理念与开发者指南

参考文档 http://docs.tvmlang.org/dev/index.html TVM Design and Developer Guide 本文档为官方指导手册的中文翻译版本,主要涉及到TVM的设计理念和开发者指南,适用于计划深入掌握TVM深度定制开发技术的开发者。 TVM运行时系统 TVM支持多种编程语言下的编译器堆栈开发和部署,针对本文档我们主要会介绍TVM运行时的关...

sanallen的专栏 1万+

TVM 中文文档项目常见问题解决方案

TVM 是一个开源的深度学习编译器,适用于 CPU、GPU、ARM 等多种硬件架构。它旨在使机器学习工程师能够在任意硬件后端高效地运行并优化计算。TVM 中文文档项目(https://github.com/hyperai/tvm-cn.git)是 TVM 官方文档的中文翻译版本,旨在帮助中文开发者更好地理解和使用 TVM。 该项目的主要编程语言包括: - **TypeScript** - **P...

gitblog_01095的博客 997

MiroThinker参数规模对比:8B/30B/72B/235B模型如何选择

MiroThinker作为开源agentic模型,专为深度研究和复杂工具使用场景设计,提供了8B、30B、72B和235B多种参数规模选择。本文将详细对比不同参数模型的性能表现、适用场景及配置方法,助你快速找到最适合的方案。 ## 一、参数规模与性能关系 不同参数规模的MiroThinker模型在处理能力上存在显著差异。从8B到235B,模型的理解能力、推理深度和工具使用效率呈现阶梯式提升。

gitblog_00744的博客 748

TVM学习(一)安装TVM Ubuntu16.04安装TVM0.8+clang-llvm12.0

TVM安装 一、从github上下载TVM git clone --recursive https://github.com/apache/tvm tvm 注:下载完tvm后最好与源码对照一下有没有下完整,我在下载时3rdparty 目录下缺少文件,下图蓝色链接的文件都没有下载,下载后放到3rdparty对应的文件夹下即可 二、构建共享库 sudo apt-get update sudo apt-get install -y python3 python3-dev pytho...

没报错的博客 4264

Apache TVM - 开放深度学习编译器栈

一、关于 Apache TVM 1、项目概览 2、相关链接资源 3、功能特性 二、快速开始 三、参与贡献 其它 参考项目

AI工程化、开源分享、文档翻译、代码笔记 921
上一篇: 错字修改 | 布署1个中文文文本拼蟹纠错模型
下一篇: PyTorch 官方库「上新」,TorchMultimodal 助力多模态人工智能
HyperAI超神经
博客等级 码龄7年 8872粉丝 1753原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值