【阅读笔记】【DNN早退】BranchyNet: Fast Inference Via Early Exiting From Deep Neural Networks

最新推荐文章于 2024-08-18 10:17:57 发布
最新推荐文章于 2024-08-18 10:17:57 发布
阅读量1.9k 收藏 10
点赞数 1
文章标签： dnn 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Artistzq/article/details/126345548
版权
BranchyNet是一种新型的深度学习架构，它允许样本在预测置信度足够高时提前退出网络，从而减少推理时间并提高效率。通过在神经网络中添加早退分支，并联合优化所有分支，BranchyNet能够在保持或提高分类准确性的同时，显著加快平均推理速度。关键在于找到合适的退出阈值T，以平衡准确率和速度。实验表明，BranchyNet的分支结构和超参数选择对其性能有显著影响，并且可以与模型压缩技术结合使用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

系列文章目录

文章目录

【阅读笔记】【DNN早退】BranchyNet: Fast Inference Via Early Exiting From Deep Neural Networks

ICPR 2016 哈佛
阅读笔记，非全文翻译

摘要

  • 提出了BranchyNet，允许一些样本在已经拥有高预测置信度时提前退出网络
  • 观察到，神经网络前面几层学习到的特征就已经足以用于分类
  • 可以提升准确率和减少推理时间

1 引言

在这里插入图片描述

  • 实验中发现，如果是为了提高性能，一个分支上没必要叠加很多卷积层
  • Contributions：
    • 早退分支可以快速推理
    • 分支在联合优化中作为正则项
    • 减缓梯度消失现象

2 背景和相关工作

  • 剪枝没法用GPU加速
  • 剪枝、低秩近似等压缩方法可以和本文的BranchyNet结合起来
  • Panda等人提出了CDL，在每个卷
最低0.47元/天 解锁文章
Artistzq
关注
深度神经网络中基于提前退出的快速推理方法的研究与实现
librahfacebook的博客
07-08 2725
BranchyNet_chainer 基于提前退出部分样本原理而实现的带分支网络（supported by chainer） 摘要 　　深度神经网络是具有一定复杂程度的神经网络，可以定义为具有输入层、输出层和 至少一个隐藏层之间的网络。每个层在一个过程中执行特定类型的分类和排序，这些复 杂的神经网络的一个关键用途是处理未标记或未结构化的数据。一般来说，随着网络深 度的增大，网络的性能也将会...
标签噪声：综述 Learning from Noisy Labels with Deep Neural Networks: A Survey
热门推荐
doctor_strange****
09-19 1万+
Learning from Noisy Labels with DNN: Robust architecture, robust regularization, robust loss function, loss adjustment, sample selection
深度学习早停机制（Early Stopping）与早退机制（Early exiting）
m0_73832962的博客
11-28 7220
早停机制，一种机器学习模型调优策略，提升调优效率下图损失值明显经过了欠拟合到过拟合使用早停机制后，模型不再过拟合模型早停是面向模型训练过程的。而在模型内部，也会出现类似的现象，这一现象被叫做过度思考(Overthinking)现象，好比爱迪生让助理计算灯泡的容积。一个博士生助理将问题过度复杂化，计算半天计算不出来。而一个头脑清晰的普通助理反而可以直接用灯泡能容纳的水量，很快就计算出容积。
branchynet
weixin_30410999的博客
10-31 1397
提前退出 神经网络 https://gitlab.com/kunglab/branchynet/tree/master 修改梯度 gradients 方法，参考： https://stackoverflow.com/questions/43839431/tensorflow-how-to-replace-or-modify-gradient 以及 分布式Tensorflow的梯度累...
LGViT : Dynamic Early Exiting for Accelerating Vision
Sky_小天
08-03 373
在过去的几年中，视觉变压器（ViTs）由于其强大的性能和通用的结构而成为各种多媒体任务的基本骨干。随着5G无线网络和物人工智能（AIoT）的发展，在资源有限的边缘设备上部署ViTs以实现实时多媒体应用已成为一个有吸引力的前景。然而，vit的高计算复杂度给将其部署在边缘设备上带来了重大挑战。例如，ViT-L/16 [26]，一种典型的计算机视觉ViT架构，需要超过180gga的片段进行推理，在NVIDIA Jetson TX2设备上需要56.79毫秒来对224×224分辨率的图像进行分类。
《ELF》即插即用！解决长尾问题！GT&UIUC联合提出基于Early-Exiting的网络框架，涨点并加速！...
我爱计算机视觉
12-29 1990
关注公众号，发现CV技术之美▊写在前面自然世界中的数据通常遵循长尾分布，大多数样本中只占据少数几个类。这种长尾分布导致分类器倾向于过拟合多数类（majority class）。为了解决这...
Deep Neural Networks are Easily Fooled
10-19
Deep neural networks (DNNs) have recently been achieving state-of-the-art performance on a variety of pattern-recognition tasks, most notably visual classification problems.
Learning From Noisy Labels with Deep Neural Networks: A survey
HitWorkerA的博客
12-09 1220
Learning with Noisy Labels的综述文章简要记录，改文章对2020年以前的基于深度学习的Learning with Noisy Labels的文章做了一个总结，要点包括方法，优缺点，以及未来的发展趋势。
[paper]Feature Squeezing: Detecting Adversarial Examples in Deep Neural Networks
weixin_43150428的博客
05-17 2415
本文提出了两种特征压缩方法： 减少每个像素的颜色位深度 使用空间平滑来减少各个像素之间的差异 特征压缩通过将与原始空间中许多不同特征向量相对应的样本合并为单个样本，从而减少了对手可用的搜索空间。通过将DNN模型对原始输入的预测与对压缩输入的预测进行比较，特征压缩可以很好的检测出对抗样本。本方法对于计算资源要求不高，可以与其他防御措施互补，并且可以结合联合检测框架使用。 Our approach, which we call feature squeezing, is driven by the obs
A New Pan-Sharpening Method With Deep Neural Networks
02-09
本文介绍了一种利用深度神经网络(DNN)进行遥感图像融合问题的新型全色锐化方法。遥感图像融合，尤其是多光谱(MS)图像与全色(PAN)图像的融合，是一项关键技术，用于生成高空间分辨率的MS图像。由于当前卫星传感器的...
DeepPose-Human Pose Estimation via Deep Neural Networks
05-21
on Deep Neural Networks (DNNs). The pose estimation is formulated as a DNN-based regression problem towards body joints. We present a cascade of such DNN regressors which results in high precision ...
Improved feature processing for Deep Neural Networks
12-11
本文探讨了在深度神经网络（DNN）中使用的改进特征处理方法。传统的特征处理管道通常包括拼接13维前端梅尔频率倒谱系数（MFCCs）跨越9帧，然后应用线性判别分析（LDA）将维度降至40，并进一步使用最大似然线性变换...
探索高效推理新境界：Fast Inference Solutions for BLOOM
最新发布
gitblog_00814的博客
08-18 280
探索高效推理新境界：Fast Inference Solutions for BLOOM transformers-bloom-inferenceFast Inference Solutions for BLOOM项目地址:https://gitcode.com/gh_mirrors/tr/transformers-bloom-inference 在人工智能领域，模型的快速推理能力成为决定应用效...
探索高效解码：Fast Inference via Speculative Decoding
gitblog_00044的博客
06-07 546
探索高效解码：Fast Inference via Speculative Decoding 去发现同类优质开源项目:https://gitcode.com/ 在当今的AI领域，大型语言模型（LLMs）在自然语言处理任务中的表现越来越出色，但其计算需求也随之水涨船高。为了解决这一问题，开源社区推出了一项名为“Fast Inference from Transformers via Speculat...
推荐文章：BranchyNet - 深度神经网络的智能加速器
gitblog_00059的博客
06-24 503
推荐文章：BranchyNet - 深度神经网络的智能加速器 去发现同类优质开源项目:https://gitcode.com/ 项目介绍 在深度学习领域，随着模型的不断深化，虽然预测准确率屡创新高，但随之而来的是推理时间的增长和能耗的增加，这对实时性和能源敏感应用构成了挑战。正是针对这一痛点，BranchyNet应运而生。这是一个创新的深度网络架构，其核心是引入了侧分支机制，允许模型在早期阶段对易...
基于动态提前退出的预训练模型推理加速简介
Paper weekly
09-16 2647
©PaperWeekly 原创 ·作者|李磊单位|北京大学硕士生研究方向|自然语言处理随着如 BERT、RoBERTa 等预训练模型在一众自然语言处理任务上取得了出色的表现，...
深度学习笔记----拓扑结构动态变化网络（Dropout，Drop Connect， Stochastic Depth, BranchyNet,Blockdrop,SkipNet）
YOULANSHENGMENG的博客
11-16 3762
目录 1，训练时拓扑结构变化的网络 1.1 Dropout与 Drop Connect 1.2 Stochastic Depth（随机深度） 2，测试时拓扑结构变化的网络 2.1 BranchyNet 2.2 Blockdrop 2.3 SkipNet 1，训练时拓扑结构变化的网络 有些网络在训练的时候会随机丢弃一些网络节点，节点之间的连接或者网络模块来增强网络的泛化能力。常用的在训练的时候使用的方法有以下两种。 1.1 Dropout与 Drop Connect ...
论文笔记：Analyzing Classifiers: Fisher Vectors and Deep Neural Networks
想变有趣的EMMA
03-29 2532
Analyzing Classifiers: Fisher Vectors and Deep Neural Networks（CVPR 2016）CVPR上的文章，不读一读，你会后悔的。 原文链接：Analyzing Classifiers: Fisher Vectors and Deep Neural Networks每次读论文都会犯困，除非，我真的看懂了-_-. 所以边做笔记边读，成了读论文的
ISSCC2021: Scalable In-Memory Computing for Deep Neural Network Processors
"ISSCC2021_Session_15V_Compute-in-Memory Processors for Deep Neural Networks.pdf" 本文档是2021年国际固态电路会议（ISSCC）第15场会议的报告，重点讨论了计算内存处理器在深度神经网络（DNN）中的应用。会议...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值