[论文阅读] EIE: Efficient Inference Engine on Compressed Neural Network

最新推荐文章于 2020-03-14 21:49:54 发布
最新推荐文章于 2020-03-14 21:49:54 发布
阅读量1.4k 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 机器学习 神经网络 文章标签： 神经网络结构 EIE 模型推理 神经网络压缩
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/williamyi96/article/details/78011903
该文介绍了一种在压缩后的深度神经网络上运行的高效推断引擎EIE。这是ISCA16会议中DeepCompression及DSD系列研究的一部分，不仅在软件层面实现了优化，还考虑了软硬件协同设计来提升压缩效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

这是收录于ISCA16(International Symposium on Computer Architecture). 其是Deep Compression以及DSD的系列篇，其在Deep Compression的基础之上，还考虑到了软硬件的协同压缩设计。

由于本人当前主要是从软件层面来进行分析，因此等到后续需要相关优化时进行细致研究总结。

参考资料

  1. Paper from Arxiv. EIE: Efficient Inference Engine on Compressed Deep Neural Network
  2. PPT from ASCA16. EIE: Efficient Inference Engine on Compressed Deep Neural Network
  3. Vedio. EIE: Efficient Inference Engine on Compressed Deep Neural Network
深度神经网络剪枝技术：经典论文归类与综述
安静到无声
08-03 1029
基于度量标准的剪枝 这类方法通常是提出一个判断神经元是否重要的度量标准，依据这个标准计算出衡量神经元重要性的值，将不重要的神经元剪掉。在神经网络中可以用于度量的值主要分为3大块：Weight / Activation / Gradient。各种神奇的组合就产出了各种metric玩法。 这里的神经元可以为非结构化剪枝中的单个weight亦或结构化剪枝中的整个filter。 Weight /filter Pruning filters for efficient convnets. In ICLR, 20
深度神经网络模型压缩方法总结
Cheese_pop的博客
03-13 5667
新的卷积计算方法 这种是直接提出新的卷积计算方式，从而减少参数，达到压缩模型的效果，例如SqueezedNet,mobileNet 1. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size 代码地址：https://github.com/DeepScale/Squeez...
韩松 EIE： Efficient Inference Engine on Compressed Deep Neural Network论文详解
qq_35608277的博客
03-14 1528
EIE为韩松博士在ISCA 2016上的论文，实现了压缩的稀疏神经网络的硬件加速。 与其近似方法的ESE获得了FPGA2017的最佳论文。 背景与介绍 最新的DNN模型都是运算密集型和存储密集型，难以硬件部署。 提出了EIE （Efficient Inference Engine）的方法，将压缩模型应用与硬件。 矩阵表示 这是一个稀疏矩阵相乘的过程，输入向量a，乘以矩阵W，输出矩阵为b，然后经过了...
韩松EIE:Efficient Inference Engine on Compressed Deep Neural Network论文详解
祥瑞的技术博客
12-28 7633
EIE为韩松博士在ISCA 2016上的论文。实现了压缩的稀疏神经网络的硬件加速。与其近似方法的ESE获得了FPGA2017的最佳论文。 目录 一、背景与介绍 1.1 Motivation 1.2 前期工作 1.3 贡献点 二、方法 2.1 公式描述  神经网络的基本运算  对于神经元的运算  Deep compression后的公式  查表与值  2.2 矩阵表示（重要）...
EIE结构与算法映射
月见樽
07-22 561
首发于个人博客 算法基础 EIE（Efficient Inference Engine）的算法基础是一种被称为Deep Compression的神经网络压缩算法。EIE可以说是为Deep Compression量身定制的硬件，Deep Compression的算法流程如下所示： 剪枝：将小于某个阈值的权值直接置为0，这一操作引入权值的稀疏性 量化：这...
【韩松博士毕业论文】Efficient methods and hardware for deep learning
qq_23546067的博客
12-20 1467
参考链接：https://blog.youkuaiyun.com/weixin_36474809/article/details/85613013 参考链接：https://blog.youkuaiyun.com/Uwr44UOuQcNsUQb60zk2/article/details/78334036 韩松Deep compression论文讲解——PPT加说明文字 https://blog.youkuaiyun.com/wei...
机器学习加速器文献整理
ZhidongMiao
02-10 3731
William J Dally 团队 文献一SCNN An Accelerator for Compresse d-sparse Convolutional Neural Networks1 文献二EIE Efficient Inference Engine on Compressed Deep Neural Network2 寒武纪团队 文献一DianNao A Small-Footpr...
深度学习 论文
02-22
Eie: Efficient inference engine on compressed deep neural network (2016), S. Han et al. Binarized neural networks: Training deep neural networks with weights and activations constrained to+ 1 or-1 ...
深鉴科技：压缩深度神经网络的高效语音识别与推理引擎
这五篇论文的标题分别为："COMPRESSING DEEP NEURAL.pdf"、"Efficient Speech Recognition Engine.pdf"、"EIE Efficient Inference Engine on Compressed Deep Neural Network.pdf"、"Exploring the Regularity of ...
【ISCA17】SCNN:AnAcceleratorforCompressed-sparseConvolutionalNeuralNetworks_一只神秘的大金毛_新浪博客...
Mys_GoldenRetriever的博客
08-02 1332
主要设计了一个可以高效处理稀疏化CNN的高效硬件架构，主要思想就是跳过weight和activation中有0的乘法的情况。以达到加速（cycle）和降低功耗的效果。 以下按照原文结构，大致概括一下文章的脉络。 ABSTRACT 本文设计了一个Sparse CNN (SNN)的加速器硬件架构，通过设计一种压缩的数据流模式，同时探索了weight和activation在硬件中的稀...
2016年深度学习领域经典论文回顾
#### Eie: Efficient inference engine on compressed deep neural network (2016) 由Song Han等人开发的EIE(Efficient Inference Engine)旨在通过压缩深度神经网络来优化推理效率。该引擎通过稀疏矩阵运算和对权重...
神经网络模型压缩与加速
AlgoComp
03-08 5257
介绍神经网络（主要是CNN）模型压缩与加速的常见方法 目标：模型运行速度尽可能快，大小尽可能小，准确率尽可能保持不变 模型压缩 改变网络结构 使用特定结构 如 ShuffleNet, MobileNet, Xception, SqueezeNet MobileNet 把普通卷积操作分成两部分 Depthwise Convolution 计算量 DK⋅DK⋅M⋅D...
韩松博士毕业论文Efficient methods and hardware for deep learning论文详解
祥瑞的技术博客
01-03 5903
论文由三部分构成，也是韩松在博士期间的工作，相关论文与解析见下面： Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman coding：    https://blog.youkuaiyun.com/weixin_36474809/article/details/80...
CNN 模型压缩与加速算法综述
QcloudCommunity的博客
08-31 9528
卷积神经网络日益增长的深度和尺寸为深度学习在移动端的部署带来了巨大的挑战，CNN模型压缩与加速成为了学术界和工业界都重点关注的研究领域之一。
韩松Deep compression论文讲解——PPT加说明文字
祥瑞的技术博客
06-10 1万+
本文为Deep compression的论文笔记，相应的ppt及文字讲解 原论文《 Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman coding》https://arxiv.org/abs/1510.00149 相关论文 深鉴科技FPGA2017...
Compressing deep neural nets
slamer的专栏
03-07 415
Because I focus on deep learning on mobile, I’m naturally interested in finding ways to make deep neural networks faster and more energy efficient.One way is to come up with smarter neural net designs...
鉴别力感知的通道剪枝——Discrimination-aware Channel Pruning
AI Flash
11-08 6607
"Discrimination-aware Channel Pruning for Deep Neural Networks"这篇文章首先认为通道剪枝能够确保剪枝后模型与现有深度学习框架兼容，避免非规整的稀疏运算。其次基于训练的通道剪枝策略，需要在训练过程中施加稀疏约束或正则化约束，通常消耗较大的训练时间。另外基于最小化输出特征重建误差、layer-by-layer方式的剪枝策略（channel ...
深度学习模型压缩方法综述（二）
热门推荐
小时候贼聪明
07-21 2万+
目前在深度学习领域分类两个派别，一派为学院派，研究强大、复杂的模型网络和实验方法，为了追求更高的性能；另一派为工程派，旨在将算法更稳定、高效的落地在硬件平台上，效率是其追求的目标。复杂的模型固然具有更好的性能，但是高额的存储空间、计算资源消耗是使其难以有效的应用在各硬件平台上的重要原因。
韩松博士毕业论文（精简总结）
半度微凉的博客
02-24 615
https://blog.youkuaiyun.com/weixin_36474809/article/details/85613013
开源软件eie manager：双面板Web文件管理器
标题“eie manager-开源”中的知识点涉及了一个名为“eie manager”的开源软件，而“开源软件”指的是一种源代码对所有人开放的计算机软件。这类软件允许用户自由地使用、修改和共享原始代码。开源项目通常由个人或...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值