DeepRebirth: Accelerating Deep Neural Network Execution on Mobile Devices

最新推荐文章于 2024-11-13 15:45:32 发布
原创 最新推荐文章于 2024-11-13 15:45:32 发布 · 566 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

DeepRebirth通过替换和简化CNN中的Non-tensor层，实现移动端深度神经网络的加速执行。该方法包括StreamlineSlimming和BranchSlimming，前者对norm和pooling层进行优化，后者针对GoogLeNet的Inception结构进行精简。实验表明，该方法能够显著提升网络运行效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

DeepRebirth: Accelerating Deep Neural Network Execution on Mobile Devices

作者将CNN中的层分为两种:(1)Tensor Layer，如conv，fc；（2）Non-tensor Layer，如pooling，norm。作者发现网络进行前向推理时，Non-tensor layer也会占用不少时间和内存，作者提出用单独的Tensor layer来替换Tensor layer和其后临近的Non-tensor layer能减少网络运行时间。

Streamline Slimming

这里写图片描述
- norm layer：直接删去
- pooling layer：将pooling layer中的stride移到conv layer中

Branch Slimming

这里写图片描述

Branch Slimming主要针对的是GoogLeNet中的Inception结构，这个部分将Inception结构中的最左边(conv_1x1)和最右边(pooling+conv_1x1)删去了，仅保留了中间两个分支，调整了输入输出通道，这个部分需要注意网络最后的输出通道数，修改方法没有指定要求

这里写图片描述

对于一个预训练网络，逐层进行合并，新层采用标准初始方式，学习率为其它层的10倍，最后微调整个网络

结论：实现了3倍加速，2.5被运行内存节省，只带来了0.4的top-5 acc drop

DeepRebirth——通过融合加速网络
shuzfan的专栏
11-12 4065
这里介绍2017ICLR OpenReview中的一篇有关网络加速的文章《DeepRebirth: A General Approach for Accelerating Deep Neural Network Execution on Mobile Devices》。 看文章标题觉得高大上，看方法细节觉得卧槽好水，看自己的验证结果好像还有点用。附：2017ICLR openreview http:
论文笔记：DeepRebirth——从非权重层入手来进行模型压缩
小时候贼聪明
07-25 3442
前言因为最近都在关注深度学习模型压缩相关的工作，所以今天给大家介绍的也是一篇关于模型压缩的方法。这是一篇非常有意思的工作，来自于三星研究院在ICLR2017上发表的论文：DeepRebirth: A General Approach for Accelerating Deep Neural Network Execution on Mobile Devices。
DeepRebith: Accelerating Deep Neural Network Execution on Mobile Devices
lynazhangs的博客
12-28 263
前言- 由于dnn model的大量计算和memory cost,将深度神经网络运行在移动设备上一直是一个挑战. 而目前的方法，比如matrix approximation using SVD, 并不能满足实时的要求。
Rebirth
IMU_Crius
08-24 356
IMU_Crius  2017 master. Rebirth.
动态生成卷积核加速卷积神经网络Dynet
weixin_41396062的博客
04-23 1618
利用动态生成的卷积核加速卷积神经网络 ICLR2020文章： DYNET: DYNAMIC CONVOLUTION FOR ACCELERATING CONVOLUTION NEURAL NETWORKS （一）文章的核心思想： adaptively generate convolution kernels based on image contents 通过 image的内容动态的生成卷积核 经...
DNN云边协同工作汇总(持续更新)
Java开发，人工智能，边缘计算，致力于掌握前沿技术
11-13 1906
在进行调度的过程中可以使用垂直划分和水平划分，也可以直接将一个DNN任务作为划分单位。云边协同旨在充分利用云边端资源完成DNN任务的推理计算，将整体模型进行划分后，利用终端设备、边缘服务器以及云计算中心的计算资源，将DNN划分为多个部分，分别部署在不同设备上进行推理。最优的分区点和边缘选择取决于特定深度学习架构的推理成本模型和从设备到边缘服务器的通道模型，这在实际的MEC中是具有挑战性的。DADS使用图论中的最大流最小割算法对DAG拓扑结构进行了分析，解决了一部分含有拓扑结构的模型的划分问题。
非权重压缩DEEPREBIRTH.pdf
12-21
【原版论文】DEEPREBIRTH: A GENERAL APPROACH FOR ACCELERATING DEEP NEURAL NETWORK EXECUTION ON MOBILE DEVICES
Deep Learning Model Compression Techniques: How to Reduce Model Size While Maintaining Performance
# An Overview of Deep Learning Model Compression Techniques: Balancing Performance with Smaller Model Size As deep learning technology rapidly advances, the scale and computational demands of models ...
ICCV2017论文摘要汇总
super_chicken的博客
04-18 7069
1. Globally-Optimal Inlier Set Maximisation for Simultaneous Camera Pose and Feature Correspondence Abstract: Estimating the 6-DoF pose of a camera from a single image relative to a pre-computed 3D p...
CVPR2017论文摘要汇总
热门推荐
super_chicken的博客
04-09 1万+
1. Exclusivity-Consistency Regularized Multi-view Subspace Clustering Abstract: Multi-view subspace clustering aims to partition a set of multi-source data into their underlying groups. To boost the ...
【非权重压缩】DEEPREBIRTH论文解读
qq_23546067的博客
12-22 261
**摘要：将网络分为张量层(conv，FC)和非张量层（LRN，pool，dropout，activity等），并对模型进行非张量层的修改，并对修改后的网络进行fine-tune。**
图上的对抗与攻击精选论文列表(​2021相关论文一览)
数据派THU
07-02 1026
来源：深度学习与图网络 本文约1400字，建议阅读5分钟本文为你分享图上的对抗与攻击精选论文。 2021相关论文一览大规模攻击图神经网络图神经网络的黑盒梯度攻击：更深入洞察图的攻击和防御...
模型压缩和加速方法总结和文献综述
senbinyu的博客
08-21 4595
本文集中了一些针对模型压缩和技巧，用于加快计算速度的论文。 如下所示，模型压缩具有不同的技术，在这里我将主要列出深度学习网络部分。 1. Review papers，综述文章 以下是推荐用于模型压缩和加速的几篇论文。 Cheng Yu et al., A survey of model compression and acceleration for deep neural networks, 2017. Cheng Jian et al., Recent advances in efficie
模型加速论文2018
风中落泪的花
01-05 613
[He et al., 2018] Yihui He, Ji Lin, Zhijian Liu, Hanrui Wang, Li-Jia Li, and Song Han. AMC: AutoML for Model Compression and Acceleration on Mobile Devices. In European Conference on Computer Vision ...
2018/12/14 Deep Neural Network Training(1)
the__future的博客
12-14 323
Loss Function and Optimization 损失函数 如何优化 线性分类器 损失函数是量化的评估线性分类器的标准。损失函数是优化的目标。 损失函数的定义： 当初始化W很小的时候，S–>0,此时L–>c-1（其中c代表类的个数） 线性代数 有限字长 当我们在训练集上训练出来的分类器训练的很好的时候，这时候会出现一个过拟合效应，原因是我们的训练集并没有很好的表现现实
模型压缩经典论文SqueezeNet:AlexNet level accuracy with 50x fewer parameters and less 0.5MB model size论文详解
祥瑞的技术博客
01-06 927
ICLR2017 的SqueezeNet为模型压缩领域最经典的文章之一。 论文链接：http://arxiv.org/abs/1602.07360 代码链接：https://github.com/DeepScale/SqueezeNet 目录 一、简介 1.1 作者 1.2 SmallerCNN的优点   层间传递少   占用带宽小   更易部署于硬件 1.3 贡献点 二、方法...
深度学习模型压缩方法（5）-----Deep Compression
shentanyue的博客
10-31 7674
《Deep Compression: Compression Deep Neural Networks With Pruning, Trained Quantization And Huffman Coding 原作者基于Alex的代码：https://github.com/songhan/Deep-Compression-AlexNet  用Caffe实现：https://github.co...
模型压缩与加速概述
weixin_35848967的博客
07-06 763
文章说明：该文章的内容是我看网上模型压缩视频中的课件内容，这里是我记录的笔记。视频中说内容来源于valse2018：深度神经网络加速核压缩年度紧张包括(2017)程健 1 理论基础 必要性 在许多网络结果中，如VGG-16网络，参数数量1亿3千多万，占用500MB空间，需要进行309亿次浮点运算才能完成一次图像识别任务。 可行性 论文提出，其实在很多深度的神经网络中存在着显著的冗余。仅仅使用很少一部分（5%）权值就足以预测剩余的权值。该论文还提出这些剩下的权值甚至可以直接不用被学习。也就是说，仅仅训练一小
信捷XC系列PLC主从通讯程序设计与实现——工业自动化控制核心技术
最新发布
08-09
信捷XC系列PLC主从通讯程序的设计与实现方法。信捷XC系列PLC是一款高性能、高可靠性的可编程逻辑控制器，在工业自动化领域广泛应用。文中阐述了主从通讯的基本概念及其重要性，具体讲解了配置网络参数、编写程序、数据交换以及调试与测试四个主要步骤。此外，还探讨了该技术在生产线控制、仓储物流、智能交通等多个领域的应用实例，强调了其对系统效率和稳定性的提升作用。 适合人群：从事工业自动化控制的技术人员、工程师及相关专业学生。 使用场景及目标：适用于需要多台PLC协同工作的复杂工业控制系统，旨在提高系统的效率和稳定性，确保各设备间的数据交换顺畅无误。 其他说明：随着工业自动化的快速发展，掌握此类通信协议和技术对于优化生产流程至关重要。
SG-Splatting: Accelerating 3D Gaussian Splatting with Spherical Gaussians
03-11
### 使用球形高斯加速3D高斯点绘的技术细节 #### SG-Splatting 技术概述 SG-Splatting 是一种用于加速 3D 高斯点绘 (3D Gaussian Splatting) 的技术，通过引入球形高斯函数来简化计算并提高渲染效率。该方法特别适用于实时辐射场渲染场景中的复杂光照效果模拟。 #### 实现原理 为了有效处理大规模的三维数据集，在传统基础上进行了改进： - **球形高斯表示**：采用球形高斯分布代替标准椭圆体模型，使得每个粒子可以被更简单地描述为位置、方向以及强度参数组合而成的形式[^1]。 - **高效采样策略**：利用球形对称性质减少不必要的冗余运算；同时针对不同视角下的可见性变化设计自适应调整机制以优化性能表现[^2]。 - **颜色分解**：为进一步增强对于具有镜面反射特性的物体表面特征捕捉能力，提出了将色彩信息拆解成漫反射与镜面反射两部分的方法。这不仅有助于区分高低频信号差异，还能够更好地匹配实际物理现象中光线传播规律[^3]。 ```python import numpy as np def spherical_gaussian(position, direction, intensity): """ 计算单个球形高斯项 参数: position -- 中心坐标向量 direction -- 方向单位向量 intensity -- 强度系数 返回值: sg_value -- 球形高斯响应值 """ # 假设输入已经过预处理转换到局部坐标系下 r_squared = sum([p*p for p in position]) dot_product = sum([d * p for d,p in zip(direction,position)]) exponent_term = -(r_squared - dot_product*dot_product)/(2*(intensity**2)) normalization_factor = 1 / ((np.sqrt(2*np.pi)*abs(intensity))**(len(position)-1)) return normalization_factor * np.exp(exponent_term) ``` #### 性能优势 得益于上述特性，基于球形高斯的 splatting 方法能够在保持高质量视觉呈现的同时显著降低计算成本，尤其适合应用于动态环境中快速更新视图的需求场合。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值