6.4 Dropout正则化

原创

已于 2024-03-25 21:04:27 修改 · 948 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #机器学习 #人工智能 #笔记

于 2024-03-24 22:55:09 首次发布

1、Dropout

Dropout是一种正则化技术，通过防止特征的协同适应，可用于减少神经网络中的过拟合。

Dropout的效果非常好，实现简单且不会降低网络速度，被广泛使用。

特征的协同适应指的是在训练模型时，共同训练的神经元为了相互弥补错误，而相互关联的现象，在神经网络中这种现象会变得尤其复杂。

协同适应会转而导致模型的过度拟合，因为协同适应的现象并不会泛化未曾见过的数据。

Dropout从解决特征间的协同适应入手，有效地控制了神经网络的过拟合。

Dropout在每次训练中，按照一定概率 p ，随机地抑制一些神经元的更新，相应地，按照概率 1-p 保留一些神经元的更新。

当神经元被抑制时，它的前向传播结果被置为0，而

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Shield-Z

关注关注

20
点赞
踩
10

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

正则化 (Regularization)

SuperAGI2025

02-04

1196

正则化 (Regularization) 关键词：正则化,过拟合,欠拟合,模型优化,深度学习,机器学习 1. 背景介绍 1.1 问题由来在机器学习和深度学习中，过拟合（ov

一切皆是映射：DQN与正则化技术：防止过拟合的策略

AI天才研究院

05-06

627

一切皆是映射：DQN与正则化技术：防止过拟合的策略作者：禅与计算机程序设计艺术 1. 背景介绍 1.1 强化学习与DQN 强化学习(Reinforcement Learning, RL)是一种机器学习范式

参与评论您还未登录，请先登录后发表或查看评论

交叉熵 Dropout 正则化 优化器

qq_41005604的博客

03-31

376

交叉熵 import numpy as np from keras.datasets import mnist from keras.utils import np_utils from keras.models import Sequential from keras.layers import Dense from keras.optimizers import SGD # 载入数据 (x_train,y_train),(x_test,y_test) = mnist.load_data() # (60

何谓Dropout正则化

努力的小菜鸟的博客

08-05

3160

一、dropout（随机失活）的用处当你的网络存在过拟合现象时，可以考虑使用dropout正则化来处理。二、dropout的做法假设下图中左边的网络存在过拟合，dropout的做法就是对于网络中的每一层，设置一个概率值p，p表示对于该层的任一结点而言，保留它的概率为p，删除它的概率为1-p。假设每一层的p为0.5，则任何一个结点有50%的概率被删除，也就是网络中有接近一半的结点会被删除，同时删除网络图中对应的连线。因此使用dropout之后，我们得到了一个更加精简的网络模型。

神经网络正则化方法——Dropout

夏树让的博客

03-27

2493

本文详细描述了 Dropout，介绍了 Dropout 的提出背景、基本概念、设计动机以及实现的一般方法。由于训练集或多或少会存在一些噪音，而且无法保证训练集能够准确反映样本的真实分布，所以在训练集上的过分拟合会造成神经网络泛化能力的不足，在测试集上表现远不如其在训练集上的表现，而我们往往更关注于前者。为了缓解这个问题，就需要采取一些正则化措施（regularization），在保证模型足够强大的同时避免模型过拟合（over-fitting）。

深度学习中的正则化技术 - Dropout篇

绎岚科技的博客

07-19

1744

在深度学习的浩瀚领域中，模型过拟合一直是研究者们面临的挑战之一。当模型在训练集上表现得近乎完美，却难以在未见过的数据（测试集）上保持同样优异的性能时，过拟合现象便悄然发生。为了有效缓解这一问题，Dropout技术应运而生，成为深度学习工具箱中的一把利器。Dropout的核心思想在于，在训练过程中随机地“丢弃”（即暂时忽略）神经网络中的一部分神经元及其连接，使得每次迭代时网络结构都有所不同。这种“集成学习”的策略迫使网络学习到更加鲁棒、泛化能力更强的特征表示，而非过分依赖于训练数据中的噪声或细节。

Dropout正则化详解

最新发布

2401_86968005的博客

02-25

1333

Dropout通过随机屏蔽神经元实现正则化，是深度学习中最广泛使用的防过拟合技术之一。其实现简单但效果显著，尤其在全连接网络中不可或缺。合理调整保留概率 ( p ) 和层间配合，可最大化模型性能提升。

「深度学习」dropout 技术

qq_52063383的博客

02-05

1730

「吴恩达」深度学习笔记 - dropout技术

pytorch tmodel.eval()意味着显示关闭丢弃dropout

studyvcmfc的专栏

06-17

1441

model.eval() 意味着显示关闭丢弃dropout

pytorch dropout || model.train() || model.eval()

cobracanary的博客

10-01

730

今天学习pytorch，发现模型中间加了一层dropout层： x = F.dropout(x, training=self.training) 大家知道，dropout层的作用就是将前面一层神经元的元素以一定概率置为0，减少模型对于某些特征的依赖，提高模型的泛化性。这个training=self.training是啥意思呢。要知道我们的模型都是继承自nn.Module类，这个类在训练的时候会使得self.training为true，此时我们就正常使用dropout，而在测试的时候，self.traini

Dropout

玄云飘风的博客

03-22

511

https://stackoverflow.com/questions/53419474/nn-dropout-vs-f-dropout-pytorch import torch import torch.nn as nn class Model1(nn.Module): # Model 1 using functional dropout def __init__(self, ...

深度学习记录例子篇————droupout正则化和BN层

yunlong_G的博客

07-17

4787

droupout正则化和BN层droupout是什么使用dropout正则化解决拟合问题批量正则化 droupout是什么使用dropout正则化解决拟合问题（1）导入需要的包和数据集 from sklearn.datasets import load_boston from sklearn.model_selection import train_test_split import numpy as np import matplotlib.pyplot as plt import torch im

《python深度学习实战——————神经网络基础》中dropput段代码复现

m0_63469637的博客

04-04

1461

6.4节的代码复现 #《python深度学习实战——————神经网络基础》中dropput段代码复现 from torch.distributions import Bernoulli from torch import nn import torch activations=torch.rand((5,5))#随机生成一个五乘五的矩阵 m=Bernoulli(0.5)#调用伯努利函数 mask=m.sample(activations.shape)#tensor.shape 查看维度 activa

pytorch学习——正则化技术——丢弃法（dropout）

weixin_48637535的博客

08-01

4631

引入Fashion-MNIST数据集。我们定义具有两个隐藏层的多层感知机，每个隐藏层包含256个单元。将暂退法应用于每个隐藏层的输出（在激活函数之后），并且可以为每一层分别设置暂退概率：常见的技巧是在靠近输入层的地方设置较低的暂退概率。下面的模型将第一个和第二个隐藏层的暂退概率分别设置为0.2和0.5，并且暂退法只在训练期间有效。#定义两个隐藏层，每个隐藏层有256个单元dropout1, dropout2 = 0.2, 0.5 # 为每个隐藏层设置一个 dropout 概率。

dropout 正则化（Dropout Regularization）

一只攻城狮的博客

12-17

1931

dropout 正则化（Dropout Regularization）除了L2L2L2正则化，还有一个非常实用的正则化方法——“Dropout（随机失活）”，我们来看看它的工作原理。假设你在训练上图这样的神经网络，它存在过拟合，这就是dropout所要处理的，我们复制这个神经网络，dropout会遍历网络的每一层，并设置消除神经网络中节点的概率。假设网络中的每一层，每个节点都以抛硬币的方...

Dropout层的个人理解和具体使用

热门推荐

郝同学的博客

08-24

3万+

一、Dropout层的作用 dropout 能够避免过拟合，我们往往会在全连接层这类参数比较多的层中使用dropout；在训练包含dropout层的神经网络中，每个批次的训练数据都是随机选择，实质是训练了多个子神经网络，因为在不同的子网络中随机忽略的权重的位置不同，最后在测试的过程中，将这些小的子网络组合起来，类似一种投票的机制来作预测，有点类似于集成学习的感觉。关于dropout，有nn.Dropout和nn.functional.dropout两种。推荐使用nn.xxx，因为一般情况下只有训练

dropout 为何会有正则化作用

weixin_30725467的博客

07-05

679

在神经网络中经常会用到dropout，大多对于其解释就是dropout可以起到正则化的作用。一下是我总结的对于dropout的理解。花书上的解释主要还是从模型融合的角度来解释，末尾那一段从生物学角度的解释是在是看不明白。从模型融合的角度来解释dropout: Dropout提供了正则化一一大类模型的方法。Dropout可以被认为是集成大量的深层神经网络模型的 Bagging方法。通常...

dropout与正则化之间的关系？

weixin_38643947的博客

06-11

5198

欠拟合：high bias,训练数据不够充分；过拟合：产生high variance，过度训练数据，泛化性能差。用Bengio在Deep Learning中的这个图来阐述什么是过拟合。随着模型的优化，training error和generalization error都下降，但到了一定程度之后，training error还在下降，而generalization error却上升了。Regula...

dropout正则化实质

05-14

Dropout正则化是一种广泛应用于神经网络的正则化技术。其主要思想是在网络的训练过程中，以一定的概率随机地“丢弃”（即将其权重置为0）一部分神经元，这样可以防止网络对训练数据过拟合，提高其泛化能力。具体来说，对于一个包含多层神经元的神经网络，在每一次训练迭代中，dropout正则化会随机选择一些神经元，并将其权重置为0。这些被“丢弃”的神经元不会参与到当前训练迭代中的前向传播和反向传播过程中，从而减少网络对某些特定神经元的依赖性，防止过拟合。而在测试时，所有神经元都会参与前向传播过程，但其权重会乘上dropout概率的倒数，以保持网络输出的一致性。总之，dropout正则化通过随机地丢弃一部分神经元来防止过拟合，并提高神经网络的泛化能力。它是目前应用最广泛的正则化技术之一。