深度学习编译器对比：The Deep Learning Compiler A Comprehensive Survey

原创 已于 2023-06-23 21:58:04 修改 · 525 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能

于 2023-06-23 21:44:48 首次发布

参考：The Deep Learning Compiler: A Comprehensive Survey

记录几种深度学习编译器的功能和性能的对比；

在这里插入图片描述

在这里插入图片描述


TVM在CPU和GPU的表现最好；
在这里插入图片描述

MobileNet:TVM在conv、linear、expand表现最好；XLA在dewise的表现最好；

在这里插入图片描述

【论文阅读】The Deep Learning Compiler: A Comprehensive Survey
Mitchell_Donovan的博客
07-26 2986
深度学习（Deep Learning）编译器将深度学习框架描述的模型在各种硬件平台上生成有效的代码实现，其完成的模型定义到特定代码实现的转换将针对模型规范和硬件体系结构高度优化。具体来说，它们结合了面向深度学习的优化，例如层融合和操作符融合，实现高效的代码生成。此外，现有的编译器还采用了来自通用编译器（例如LLVM）的成熟工具链，对各种硬件体系结构提供了更好的可移植性。简而言之，深度学习编译器通过对深度学习模型和计算图的优化，以及对硬件资源的充分利用，提高了深度学习模型的性能和效率。
The Deep Learning Compiler: A Comprehensive Survey (深度学习编译器：全面调查)
m0_58988991的博客
05-13 1633
《深度学习编译器：全面调查》一文由Mingzhen Li等人撰写，发表于2021年3月1日的《IEEE Transactions on Parallel and Distributed Systems》。该文章系统性地回顾了深度学习编译器的发展现状，探讨了其在优化深度学习模型部署和性能提升中的关键作用。文章详细分析了现有深度学习编译器的架构、优化技术及其在不同硬件平台上的应用，并指出了当前面临的挑战和未来的研究方向。这项调查为研究人员和开发者提供了宝贵的参考，有助于推动深度学习编译器技术的进一步发展。
深度学习编译器综述The Deep Learning Compiler
吴建明wujianming_110117
11-24 1209
深度学习编译器综述The Deep Learning Compiler The Deep Learning Compiler: A Comprehensive Survey 参考文献： https://arxiv.org/pdf/2002.03794v4.pdf 在不同的DL硬件上部署各种深度学习（DL）模型的困难，推动了社区DL编译器的研究和开发。DL编译器已经从工业和学术界提出，如TysFraceXLA和TVM。类似地，DL编译器将不同DL框架中描述的DL模型作为输入，然后为不同的DL硬件生成优化代码作
深度学习编译器研究报告
性感的小君君
05-30 1686
近十年来，基于神经网络的深度学习技术将图像分类、语音识别和目标检测等技术的准确率提高到了实用的水平。众多的科技巨头和初创公司都卷入其中，努力挖掘各种可能的应用落地场景。深度学习技术已经走进并开始影响人们的生活。移动终端、嵌入式系统、单片机以及各种 AI 加速器都是深度学习应用落地的重要硬件平台，不同平台通常有不同的功能和特性，要在不同类型的设备上都获得最佳性能非常困难，因为需要基于硬件对模型与运算核心同时进行优化才能充分发挥硬件的性能。所以在现阶段为各种计算平台和加速器研发配套的软件工具来实现模型的高性能部
深度学习分布式策略优化、显存优化、通信优化、编译优化综述
Garvin的专栏
11-13 4045
综述 因为我个人最近在从事可能是AI领域对性能挑战最大的方向，自动驾驶领域，所以对整个深度学习训练的优化尤为关注，最近一直在学习相关内容，谨以此篇文章做一个总结。 我一直很看好深度学习训练优化这个方向,因为从大的环境上来看，似乎大模型会成为未来的一个趋势,目前以Google、OpenAI、阿里等厂商为代表的一系列头部的AI研究机构，已经把模型尺寸做到十万亿参数级别，明年应该可以达到百万亿参数，总体呈指数倍增长态势。而核心计算芯片的性能，却无法保证指数倍增长。 (上图因为制作时间较久,具体数字可能存
【深度学习编译器系列】2. 深度学习编译器的通用设计架构
elaine_bao的专栏
02-21 953
深度学习编译器主要包括编译器前端和编译器后端两部分。编译器前端主要执行硬件无关的转换和优化，编译器后端主要执行硬件相关的优化。
Deep Learning Compiler 之自我理解
博客标题
01-28 2560
Deep Learning Compiler 之自我理解前序编译器狂想DL编译器什么是DL编译器DL编译器的融合DL编译器的优化方法 前序 接触DL算起来也有几年了，但是一直在外围，未真正深入。因工作关系，主要接触的是DL的inference架构以及ASIC的Soc部分，零散又琐碎。 后将DL compiler作为个人的兴趣方向，认为DL编译器在整个DL的业务流程中，处于承上启下的地位。读了些论文以及代码，但依然缺少系统性。 近一年前接触MLIR，当时只是粗略了解，以及在nGraph上玩了玩MLIR，仅此而
(一)大话深度学习编译器中的自动调优·前言
世事难料，保持低调
02-20 7487
深度学习计算框架中的自动化调优，尤其是高性能算子自动生成是这几年非常火的话题。这个系列的文章主要是对之前看到的零碎信息做个简单的总结。尽管，由于有些方向比较艰深，笔者懂得十分浅薄，文章在很多方面也只能蜻蜓点水。这是第一篇，权当是个引子。
Machine Learning for Computer Systems and Networking:A Survey ---综述阅读 对于计算机系统和网络的机器学习
weixin_40293999的博客
03-26 3340
机器学习已经成了计算机视觉和自然语言处理等多个学科领域的主要方法.尽管最近取得了一些突破,机器学习仅仅在计算机视觉和网络领域进入了基本挑战.本文尝试阐明最近的尝试用ml解决计算机系统和网络的传统问题的文献.为了这一目标,我们首先介绍了一套研究问题领域的方法学,然后我们对每个领域进行了综合的回顾,并对这些领域进行了传统方法和ML方法的比较.最后,我们讨论了对计算机系统和网络的机器学习方法限制,的包括:训练数据不足,过拟合,实时性能,可解释性,并针对这些不足揭示出未来发展的方向.最接近我们工作的是[174]。
精选资源
The Deep Learning Compiler A Comprehensive Survey.pdf
08-30
《The Deep Learning Compiler: A Comprehensive Survey》这篇论文由北京航空航天大学和清华大学的学者撰写，首次系统地分析了现有的DL编译器的设计架构。文章详尽探讨了面向深度学习的多层次中间表示（IRs）以及...
精选资源
AI编译器的架构 The Deep Learning Compiler A Comprehensive Survey.pdf
07-01
AI 编译器架构是人工智能领域中一个非常重要的研究方向，它直接影响着深度学习模型在不同硬件平台上的部署和优化。近年来，随着深度学习模型的广泛应用，AI 编译器架构的研究和开发也在急剧增加。本文将对 AI 编译器...
北航发布首篇「深度学习编译器」综述论文，36页pdf阐述DL编译器的全景.zip
02-12
最近北航的学者撰写了第一篇关于当下深度学习编译器的综述论文《The Deep Learning Compiler: A Comprehensive Survey》36页pdf107篇参考文献，从各个方面对现有的DL编译器进行了全面的比较。此外，还详细分析了多级...
003 卷积神经网络（CNN）-- 原理到实践
yy_xzz的博客
12-25 820
卷积操作：局部连接，权重共享池化操作：降维，增加平移不变性经典架构现代技巧：批归一化，Dropout，残差连接实践应用：图像分类，特征可视化# 尝试设计一个用于MNIST的CNN# 你的设计pass# 前向传播pass。
Day46
m0_70488789的博客
12-26 258
作业：手动构造类似的数据集（如cosx数据），观察不同的机器学习模型的差异。4. 经典机器学习在序列任务上的劣势；# DAY 46 序列预测任务介绍。b. 多步预测的2种方式。2. 序列数据的处理：滑动窗口。3. 多输入多输出任务的思路。
Day44 简单 CNN 实战
最新发布
W020419的博客
12-26 324
将卷积输出展平成向量，接 1~2 层全连接 + Dropout，输出 10 维 logits。：BatchNorm 稳定分布、Dropout 降低 co-adaptation。这些中间输出就是“特征图”，可借助 Grad-CAM 等方法做可视化解释。第 3 个卷积块：池化后得到 128×4×4，展平即 2048 维向量。第 1 个卷积块：保持尺寸，池化后得到 32×16×16；第 2 个卷积块：池化后得到 64×8×8；提取多尺度特征并逐步减小空间维度。
Monodepth：基于左右一致性的无监督单目深度估计，单目估计的起步-k学长深度学习专栏
12-23 953
Monodepth是一种创新的单目深度估计方法，通过无监督学习实现深度预测。其核心思想是将深度估计转化为图像重建问题，利用双目相机的左右图像进行训练，无需真实深度标注。方法采用编码器-解码器结构预测视差图，并通过三种关键损失函数（外观匹配损失、视差平滑损失和左右一致性损失）来优化模型性能。最大的创新点是引入左右一致性约束，使模型能更准确地理解场景的几何结构。相比传统方法，Monodepth降低了数据获取成本，提高了深度预测的可靠性，适用于自动驾驶、AR/VR等多个领域。
【AI课程领学】第四课1/3：CNN 基本组件与操作——卷积/步幅/填充/池化/归一化/激活/感受野（含 PyTorch + NumPy）
2401_89898861的博客
12-25 1511
【AI课程领学】第四课1/3：CNN 基本组件与操作——卷积/步幅/填充/池化/归一化/激活/感受野（含 PyTorch + NumPy）
基于山羚羊优化的LSTM深度学习网络模型(MGO-LSTM)的一维时间序列预测算法matlab仿真
熟悉python,matlab,C,C++,JAVA等
12-26 338
摘要：本文提出一种基于山羚羊优化算法(MGO)的LSTM超参数优化方法，用于时间序列预测。该方法利用MGO自适应搜索LSTM最优隐含层神经元数量，以最小化预测误差。程序在MATLAB2022A/2024B中实现，包含数据预处理、MGO优化、LSTM训练与预测等模块。MGO-LSTM模型通过模拟山羚羊群体智能行为进行全局寻优，克服传统方法的局部最优问题。实验结果显示，该方法能有效提升LSTM预测精度，适用于一维时间序列分析任务。
高级LSTM架构在量化交易中的特殊入参要求与实现
木头大左的博客
12-25 796
本代码实现了基于长短期记忆网络（LSTM）的量化交易策略，通过处理时间序列金融数据预测未来价格走势。主要风险包括过拟合问题、非平稳时间序列导致的梯度消失、以及市场黑天鹅事件引发的异常波动。对于高频交易场景，采用5-30分钟级别的K线数据时，建议设置timesteps=64-128；该实现方案已在CME集团黄金期货(GC)合约上完成实证测试，2018-2023年期间实现年化收益18.7%，夏普比率1.93，最大回撤9.2%。需要注意的是，实际应用中应根据具体交易品种调整参数范围，并建立严格的风控体系。
深度学习编译器综述：从Tensorflow XLA到TVM
"这篇论文《The Deep Learning Compiler: A Comprehensive Survey》由北航和清华大学的学者撰写，首次全面概述了当前深度学习（DL）编译器的现状。论文重点讨论了DL编译器的设计架构，特别是针对DL模型的多层次中间...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

KPer_Yang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值