DropBlock

最新推荐文章于 2024-10-06 23:16:15 发布
最新推荐文章于 2024-10-06 23:16:15 发布
阅读量1k 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习 卷积神经网络 目标检测 文章标签： 神经网络 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_42033377/article/details/104987815
DropBlock是谷歌大脑提出的卷积神经网络正则化技术，旨在解决传统dropout在卷积层效果不佳的问题。通过在特征图上成块地丢弃特征，而不是随机丢弃单个元素，从而鼓励网络学习更有效的特征。实验结果显示，DropBlock在resnet50和retinaNet等模型上带来了约1%的性能提升。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

dropblock

  • dropblock技术是谷歌大脑研发人员于2018年提出的一项在卷积神经网络中使用的正则化技术

何谓正则化？为什么要使用正则化技术

  • 在卷积神经网络中，网络的参数非常多，为了避免出现过拟合的问题，就需要使用到正则化技术。常见的正则化如L1，L2正则化

dropblock解决的问题是什么？

  • 在传统的深度神经网络中，常常在全连接层后面使用dropout操作来减少在网络学习的过程中该全连接层权重需要发生改变的数量，这是一种使用广泛的方法，但是在卷积层后面接dropout就难以奏效。
  • 作者认为出现这种情况的原因在于，卷积层的特征图中相邻元素在空间上是共享语义信息的，产生这种现象的原因正是卷积操作能够提取特征，具有感受野。Dropout方法在特征图上随机的丢弃元素，但与其相邻的元素人让可以保证相对的位置的语义信息。如下面的图（b）所示，其中x代表丢弃的位置，绿色区域代表在当前特征图中具有语义信息的区域。
  • 因此作者提出使用dropblock方法来改进dropout，drop(丢弃)block(成块)操作正如其名，在特征图上成块的丢弃特征，来达到有效丢弃语义信息，激励网络学到更加有效的特征。如下面的图（c）所示。
    在这里插入图片描述

如何实现？

  • 这种简单有效的思想如何实现呢，论文中给出了伪代码：

    • 先判断当前过程是推理还是训练
    • 如果当前过程是推理，那么取消正则化
    • 如果当前过程是训练过程，就随机在当前特征图上生成随机种子，然后在种子的一定
最低0.47元/天 解锁文章

200万优质内容无限畅学
正则化方法之DropBlock
jacke121的专栏
04-24 2757
参考：https://blog.youkuaiyun.com/qq_14845119/article/details/85103503 正则化方法之DropBlock 论文： DropBlock: A regularization method forconvolutional networks Github： https://github.com/miguelvr/dropblock http...
DropBlock： A regularization method for convolutional networks
Matthew技术小站
11-01 2928
arxiv上一篇新文章，讲如何在卷积层进行dropout来防止网络过拟合。 原来的dropout方法多是作用在全连接层上，在卷积层应用dropout方法意义不大。文章认为是因为每个featuremap的位置都有一个感受野范围，仅仅对单个像素位置进行dropout并不能降低featuremap学习的特征范围，也就是说网络仍可以通过该位置的相邻位置元素去学习对应的语义信息，也就不会促使网络去学习更加鲁...
什么是 dropblock
AI与算法都要通俗易懂
11-26 1202
那么如图 b 所示，随机丢弃激活单元的方法，仅仅是丢弃了单个单元，剩余的绿色区域中仍然包含了原来的特征(比如耳朵、嘴巴和腿的特征)，因此这种单纯的 dropout 方法并不有效。而连续地将一大块区域丢弃(图c)，却可以直接丢掉一些特定的区域信息(比如将左上角的耳朵信息全部丢掉，或者右下角的腿的信息)，从而强制剩余的神经元去学习更重要的特征。由于图像像素局部性的存在，假设绿色区域中左上角激活的为狗子的耳朵，中间部分激活的为狗子的嘴巴，右下激活的为狗子的腿。
Dropblock.pdf
11-19
DropBlock是针对卷积网络的正则化方法。在深度神经网络中，当它们有大量的参数并且经过大量的噪声和正则化训练时，例如权重衰减和dropout，通常能表现得很好。尽管dropout作为一种全连接层的正则化技术被广泛使用，...
Python-DropBlock实现一种PyTorch中卷积网络的正则化方法
08-11
**Python与DropBlock：在PyTorch中强化卷积网络的正则化** DropBlock是一种在深度学习领域中用于卷积神经网络（CNN）的正则化技术，它旨在防止过拟合，提高模型的泛化能力。由Google Brain团队提出，DropBlock的...
在PyTorch中实现DropBlock
深度学习与计算机视觉
12-04 1201
本文的交互式版本可以在这里找到:https://github.com/FrancescoSaverioZuppichini/DropBlockDropBlock在我的计算机视觉库上可用:h...
【DropBlock】Deep Learning Technology
Kindle君的博客
12-04 784
The paper records the newest deep learning technology 一、 DropBlock 1. Theory Choose Anchor to be drop: 操作：选中(feat_size - block_size -1)的中间区域，使用γ作为伯努利分布的均值，随机需要drop的点，用❌表示选中(feat_size - block_size ...
什么是 dropblock 算法？
AI与算法都要通俗易懂
10-06 1044
那么如图 b 所示，随机丢弃激活单元的方法，仅仅是丢弃了单个单元，剩余的绿色区域中仍然包含了原来的特征(比如耳朵、嘴巴和腿的特征)，因此这种单纯的 dropout 方法并不有效。(图c)，却可以直接丢掉一些特定的区域信息(比如将左上角的耳朵信息全部丢掉，或者右下角的腿的信息)，从而强制剩余的神经元去学习更重要的特征。由于图像像素局部性的存在，假设绿色区域中左上角激活的为狗子的耳朵，中间部分激活的为狗子的嘴巴，右下激活的为狗子的腿。，它在训练神经网络中，可以随机地丢弃神经元，是一种可以防止网络过拟合的方法。
Dropblock: A regularization method for convolutional network
liguandong
03-18 390
Dropblock: A regularization method for convolutional network Abstract: Thus a structed form of dropout is needed to regulatize convolutional networks. 1. Intrcoduction 2. Related work DropConne...
dropblock 实现
a362682954的博客
12-19 2788
  DropBlock: A regularization method for convolutional networks DropBlock 由原本的Dropout的随机丢弃点改变为丢弃整个块，如上图所述。该论文认为随机丢弃的像素点（其实是特征图的一个点）可能会由他附近的点的关联信息所表示出来，这样就起不到原本想要的正则效果，因此直接丢弃一个块。   方法如下   输入大...
DropBlock：A regularization method for convolutional networks
NEUXia的博客
11-28 570
常用在全连接层的dropout在卷积层中效果很差，原因在于特征图上的各激活单元具有空间相关性，只丢弃几个神经元不影响信息的流通，所以成块的舍弃，强迫卷积网络从剩余信息中学习，能提高分类的准确率。 算法： 参数控制drop块的个数，block_size控制丢弃块的大小。keep_prob就是dropout的参数 如：keep_prob=0.75 block_size=3 f...
DropBlock: A regularization method for convolutional networks论文
ZJpingfanzhilu的博客
04-06 386
1、引言 该篇论文是谷歌大脑2018年发表于NIPS的一篇防止过拟合并提高精度的论文。 借鉴了dropout思想，dropout在全连接层随机drop一些神经元，论文认为使用同样方法用于卷积层效果并不会好因为卷积层的神经元在空间上和附近的神经元相关联，因此丢失的信息仍会传到下层当中，网络仍会发生拟合。论文提出一种结构化的drop块（dropblock）来解决该问题。 2、DropBlock构造方法...
Dropblock的处理方法
AI_dataloads的博客
11-13 844
DropBlock 是一种正则化技术，用于深度神经网络的训练。它是对传统的 Dropout 方法的一种改进，旨在更好地处理卷积神经网络（CNN）中的特征图。
yolo DropBlock
最新发布
03-21
### YOLO 中 DropBlock 的用法与实现 DropBlock 是一种正则化技术，旨在通过随机丢弃特征图中的连续区域来增强模型的泛化能力。这种方法特别适用于卷积神经网络（CNN），因为它可以防止过拟合并提高模型鲁棒性[^1]...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值