「Deep Learning」Note on Deeply-Supervised Nets

最新推荐文章于 2024-11-10 09:21:10 发布
最新推荐文章于 2024-11-10 09:21:10 发布
阅读量1.1k 收藏 2
点赞数
CC 4.0 BY-SA版权
文章标签： 小锋子 深度学习 深度监督网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dgyuanshaofeng/article/details/79765207
本文探讨了深度监督网络(DSN)如何有效应对深度学习中的三个核心问题：中间层透明性对分类性能的影响、前几层特征的区分性和鲁棒性，以及训练过程中遇到的梯度消失问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Sina Weibo：小锋子Shawn
Tencent E-mail：403568338@qq.com
http://blog.youkuaiyun.com/dgyuanshaofeng/article/details/79765207

针对的问题：
第一，中间层的透明（transparency）对分类性能有影响。
第二，前些层的可学习特征具有区分性和鲁棒性。
第三，训练有效性面临梯度弥散（gradient vanishing）问题。

DSN

这里写图片描述
图 1

[1] Deeply-supervised Nets 2014 [paper]

DTEO1345
关注
[论文笔记] [2014] Deeply-Supervised Nets
Alexzhuan
07-07 848
这篇论文是比较早的工作了，但论文中提到 Deep Supervision 的概念在后面的工作中常会被提到。这篇论文的亮点就在于对每一隐层都引入 companion objective。简单说来就是每一个隐层都会后接一个分类器，去检验（监督）每一个隐层抽取出的特征的效果，这也是为什么标题叫 deeply-supervised。 如果先不看论文后面的部分，只看这么一个 idea，就会有一些疑问： 每个隐层都接一个分类器，整个模型怎么训练？目标函数怎么定义？反向传播怎么做？ 对每个隐层的分类器做优化，不会影响模
【DSN】Deeply-Supervised Nets
OneCoder的博客
11-30 4791
这是一篇2014年的论文，还是有点年代感的，因为在Unet文章目录概述细节部分1、Motivation2、结构3、FormulationExperiments 概述 设计目的？ 让隐藏层的学习过程可以更加直接（direct）和透明（transparent）。 减少分类的错误。 让学习的特征更加的鲁棒性和discriminativeness（易区分的，独特的） 更好的解决梯度爆炸和梯度消失的...
论文解读：深度监督网络（Deeply-Supervised Nets）
紫芝的博客
10-28 5599
所谓深监督(Deep Supervision)，就是在深度神经网络的某些中间隐藏层加了一个辅助的分类器作为一种网络分支来对主干网络进行监督的技巧，用来解决深度神经网络训练梯度消失和收敛速度过慢等问题。 深监督作为一个训练trick在2014年就已经通过DSN(Deeply-Supervised Nets)提出来了。具体参见DSN论文。 DSN的一个缺点在于使用的网络结构不够深，且辅助的分类器为传统的SVM模型。2015年的一篇Training Deeper Convolutional Networks w
Deeply-Supervised Nets
家家的专栏
12-21 4242
Deeply-Supervised Nets Chen-Yu Lee, Saining Xie, Patrick Gallagher, Zhengyou Zhang, Zhuowen Tu Our proposed deeply-supervised nets (DSN) method simultaneously minimizes classification error
论文解读:深度监督网络 Deeply-Supervised Nets
weixin_46575696的博客
11-10 1163
深度监督网络（DSN）可以提高隐藏层学习过程的直接性和透明度。（1）影响中间层的透明度具有整体分类;（2）学习特征的辨别力和稳健性，特别是在早期阶段;（3）面对消失的“梯度”训练有效性。为了解决这些问题，我们在每个隐藏层引入伴随目标函数，以及输出层的整体目标函数（与分层预训练不同的集成策略）。我们还使用随机梯度方法扩展的技术分析我们的算法。DSN的核心思想是为隐藏层提供集成的直接监督层，而不是仅在输出层提供监督，并将此监督传播回早期层的标准方法。
A-deeply-supervised-image-fusion-network-for-change-detection-in-remote-sensing-images:Paper的官方工具：深度监控的图像融合网络，用于高分辨率双时相遥感图像的变化检测
05-05
A deeply supervised image fusion network for change detection in high resolution bi-temporal remote sensing images 深度监督影像融合网络DSIFN用于高分辨率双时相遥感影像变化检测 Official implement of the...
多目标追踪-2019综述《Deep Learning in Video Multi-Object Tracking: A Survey》
qq_41614538的博客
12-02 6714
Deep Learning in Video Multi-Object Tracking: A Survey 近期开始研究多目标追踪，因此先找了一篇比较新的2019年综述性论文入门。 本论文将MOT通用算法归纳为4个步骤，并分别介绍了Deep Learning在各步骤中的应用，给出了典型论文以供读者进一步阅读学习。 文章目录1 Introduction2 MOT: algorithms, me...
论文阅读笔记：3D deeply supervised network for automated segmentation of volumetric medical images
啊哦的博客
08-23 3040
摘要 深度卷积神经网络（CNN）在二维医学图像分割方面取得了显著的成功，但由于其复杂的解剖结构等诸多相互影响的挑战，使得CNN从三维医学图像中分割重要的器官或结构仍然是一项艰巨的任务。立体图像中的环境、三维网络的优化难点和训练样本的不足。本文提出了一种新颖、高效的三维全卷积网络，该网络具有三维深度监控机制，可以全面解决这些挑战，我们称之为三维DSN。提出的三维DSN能够进行体对体学习和推理，消除了...
笔记-论文-Deeply-Supervised Nets
GanYuFei的专栏
10-27 6128
Deeply-Supervised Nets 此文
Reading Note: DSOD: Learning Deeply Supervised Object Detectors from Scratch
joshua_1988
08-10 2691
TITLE: DSOD: Learning Deeply Supervised Object Detectors from Scratch
ECSSD 显著度图 of Deeply Supervised Salient Object Detection with Short Connections
12-12
显著度图 of Deeply Supervised Salient Object Detection with Short Connections， ECSSD数据集
深度学习100问-15：什么是深监督(Deep Supervision)？
热门推荐
weixin_37737254的博客
02-09 3万+
深度学习100问Author：louwillMachine Learning Lab 所谓深监督(Deep Supervision)，就是在深度神经网络的某些中间隐藏层...
「Deep Learning」Note on Deeply-Fused Nets
小锋子Shawn
04-04 893
Sina Weibo：小锋子Shawn Tencent E-mail：403568338@qq.com http://blog.csdn.net/dgyuanshaofeng/article/details/79765090
Auto-Keras API详解（4）——DeepSupervised类
Friedrich Yuan的博客
11-21 1万+
Auto-Keras API详解（4）——DeepSupervised类（一）前 言（二）方法详解（1）fit方法（2）final_fit方法（3）predict方法（4）evaluate方法 （一）前 言 DeepSupervised类是Auto-Keras中用于一个训练的基类，这一节我们将详细介绍它的主要方法和各项参数的意义。 （二）方法详解 （1）fit方法 fit方法用于寻找最优的网...
目标检测--DSOD: Learning Deeply Supervised Object Detectors from Scratch
AI小作坊 的博客
08-16 1万+
DSOD: Learning Deeply Supervised Object Detectors from Scratch ICCV2017 https://github.com/szq0214/DSOD针对目标检测问题，本文提出了不需要预训练模型的检测算法，可以看作 SSD + DenseNet 的结合以前的目标检测算法基本都是先在 ImageNet 数据库上进行预训练，然后再微调。这个微
3D Deeply Supervised Network for Automatic Liver Segmentation from CT Volumes-笔记
sunyao_123的博客
04-30 1358
网络结构：   网络改进的地方是通过反卷积（核大小为3X3X3，步长为2）中间层，使得和输入大小相同，然后通过label计算loss，和最终loss一起进行梯度更新。中间反卷积层输出的loss可以防止梯消失。（深度监督DSN）   由于最终输出是通过反卷积得到的，只通过阈值生成结果，有时后边缘会不精确。所以在横断面又使用了CRF。 观察了中间层的输出：证明该论文的中间层学习到的表达相关性...
物体检测“DSOD: Learning Deeply Supervised Object Detectors from Scratch”
cv_family_z的博客
08-22 3354
code: https://github.com/szq0214/DSOD 亮点是不需要使用ImageNet预训练，设计了一些训练的准则，一个是深度监督（deep supervision）,由DenseNet得到致密的层级连接想法，基于不需要proposal的考虑，选取SSD作为改进的基本版本。DSOD 1. DSOD框架 与SSD类似，是一个多尺度不需要proposal的检测框架。网络有两个
DenseNet详细解读
花有重开日 人无再少年
10-26 5722
这篇文章是Densely Connected Convolutional Networks的解读，在精简部分内容的同时补充了相关的概念。如有错误，敬请指正。
《《《翻译》》》MV3D
为了梦想
01-18 2705
摘要 本文针对自主驾驶场景中的高精度三维目标检测问题进行了研究。我们提出了多视图三维网络（MV3D），一个感官融合框架，以激光雷达点云和RGB图像为输入，预测定向三维边界框。我们用一个紧凑的多视图表示对稀疏的三维点云进行编码。 该网络由两个子网络组成：一个子网络用于生成三维对象方案，另一个子网络用于多视图特征融合。提案网络从三维点云的鸟瞰图表示中高效地生成三维候选框。我们设计了一个深度融合方案...
f-string is too deeply
最新发布
04-29
### 关于 f-string 嵌套过深的问题 在 Python 中，`f-string` 是一种强大的字符串格式化工具，允许开发者嵌入表达式甚至调用函数。然而，在某些情况下，当 `f-string` 的嵌套层次过多时，可能会引发性能问题或者...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值