优化深层网络--激活函数、正则化以及权重初始化

最新推荐文章于 2025-03-13 09:58:42 发布
最新推荐文章于 2025-03-13 09:58:42 发布
阅读量1.4k 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 深度学习_计算机视觉 文章标签： 权重初始化 过拟合与正则化 梯度消失 激活函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43606419/article/details/86740313
本文介绍了优化深层网络的方法，包括激活函数的sigmoid、tanh、relu及其变体，正则化中的l1、l2、dropout，以及权重初始化的不同策略，如Xavier和He初始化。讨论了激活函数的饱和问题，正则化的过拟合解决方案，以及权重初始化如何影响梯度消失和爆炸。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

优化深层网络–第一篇

目录
1.激活函数 （sigmoid、tanh、relu、relu变体）
2.正则化 （l1、l2、dropout）
3.权重初始化 （0、随机数、x、he）

参考文献
1、常用激活函数的比较
2、cs231n 课件_lecture6
3、ng优化深层网络
4、l1和l2正则化区别

1 激活函数

（1）sigmoid

在这里插入图片描述

存在的问题：
1）Sigmoid函数饱和使梯度消失。当神经元的激活在接近0或1处时会饱和，在这些区域梯度几乎为0，这就会导致梯度消失，几乎就有没有信号通过神经传回上一层。
2）Sigmoid函数的输出不是零中心的。因为如果输入神经元的数据总是正数，那么关于w的梯度在反向传播的过程中，将会要么全部是正数，要么全部是负数，这将会导致梯度下降权重更新时出现z字型的下降。
3）exp()计算

最低0.47元/天 解锁文章

200万优质内容无限畅学
深度学习激活函数与正则化问题
weixin_52185313的博客
03-07 4815
深度学习激活函数与正则化问题–潘登同学的深度学习笔记 文章目录深度学习激活函数与正则化问题--潘登同学的深度学习笔记梯度消失问题（Vanishing Gradients）Relu的缺点其他Relu变形参数初始化问题pre-trainingrandom initialization代码验证Xavier initialization代码验证对参数初始化问题的总结梯度爆炸解决方案NormalizationBatch Normalization为什么要进行BNBN的使用位置BN算法过程BN的作用BN的问题Layer
激活函数sigmoid、softmax；正则化、Normalization、Dropout
weixin_42357472的博客
05-28 2269
激活函数 1、sigmoid（二分类、多标签） 2、softmax（多分类，概率和为1） Sigmod本质上是Softmax的特殊情况 正则化、Normalization、Dropout 三者防止过拟合，（其他防止过拟合，数据增加，提前结束，残差等） 参考：https://blog.youkuaiyun.com/guihuo2889/article/details/92803588 激活函数，dropout、Normalization一般顺序： ...
激活函数和正则化
m0_64665859的博客
05-30 390
防止过拟合的技巧包括：数据集的划分、增大数据量、加入噪声、dropout等。ReLU激活函数具有：简单、线性相关性和非线性增长等特点。常用的激活函数有：ReLU、Sigmoid、Tanh等。原理：是对每层的输入进行归一化处理，减少输入分布的变化。Sigmoid激活函数具有：非线性和可导性等特点。应用场景包括：图像分类、目标检测、语音识别等。Tanh激活函数具有：非线性和可导性等特点。批归一化用于：加速神经网络的训练并提高性能。正则化方法包括：L1正则化和L2正则化。
神经网络介绍，激活函数，正则化
cs123456789dn的专栏
03-11 766
1. 前馈神经网络、网络层数、输入层、隐藏层、输出层、隐藏单元、激活函数的概念。 1.1 前馈网络包括一个输入层和一个输出层，若干隐单元。隐单元可以分层也可以不分层，若分层，则称为多层前馈网络。网络的输入、输出神经元其激活函数一般取为线性函数，而隐单元则为非线性函数。任意的前馈网络,不一定是分层网络或全连接的网络。 1.2网络层数是指神经网络中的层级。 1.3 输入层是指神经网络中的输入参...
深度学习笔记之正则化、激活函数、卷积
LiuAmber的博客
03-24 2786
文章目录一. 正则化(Regularization)1. L1L_1L1​、L2L_2L2​正则化2. Dropout3. 数据增强4. 提前停止5. 批标准化参考 一. 正则化(Regularization) 正则化是一类通过限制模型复杂度，从而避免过拟合，提高泛化能力的方法。 1. L1L_1L1​、L2L_2L2​正则化 在没有添加正则化项前，我们的损失函数是：J(θ;x,y)J(\theta;x,y)J(θ;x,y)。 而添加正则化后，相当于对损失函数引入了惩罚（约束条件），损失函数变为：J^(θ;
chap-网络优化与正则化1
08-03
【网络优化与正则化】在神经网络领域中，网络优化和正则化是解决模型训练和泛化能力的关键技术。...实践中，通过结合不同的优化算法、正则化技术以及调整网络结构，可以有效地解决神经网络的优化和泛化问题。
chap-网络优化与正则化.pptx
07-21
总的来说，网络优化与正则化是深度学习中的重要主题，涉及到一系列复杂的策略和技术，包括选择合适的优化算法、管理学习率、正则化模型复杂度以及优化网络结构。理解并掌握这些知识对于提升模型的性能和泛化能力至关...
深度网络中的的权重初始化与正则化（初始化与激活函数搭配问题）
qq_43258953的博客
04-25 2580
一，kernel_initializer&bias_initializer： 建网络层时内核或者偏差权重的初始化方案。此参数是名称或可调用对象。 二，kernel_regularizer&bias_regularizer: 设置应用于网络层中内核或者偏差权重的正则化方案，例如L1或L2正则化。默认情况下，不应用正则化。 三，初始化及正则化的作用 在设计深度学习模型的时候，我们经常需...
正则化方法总结和常用的激活函数
机器学习
08-04 1157
http://blog.youkuaiyun.com/u012162613/article/details/44261657  正则化方法 http://blog.youkuaiyun.com/u014365862/article/details/52710698  激活函数
激活函数，梯度问题，正则化，过拟合
weixin_41295283的博客
09-17 833
1、为什么使用激活函数 一句话：为了增加模型的非线性，解决更复杂的问题。 现实生活中的数据经常不是线性可分的，我的理解这种情况下可以采用 （1）核方法，即将原始数据映射至高维空间后可以采用线性方法分析和解决问题。 （2）非线性变化，例如激活函数 2、梯度消失和梯度爆炸 反向传播过程计算梯度（Loss对中间l层的权重的梯度） 可见，梯度受两类因素的影响：1、中间层的偏导 2、L层的x值 如果每层因...
激活函数，损失函数，正则化
kuokay的博客
03-27 3543
激活函数简介 在深度学习中，输入值和矩阵的运算是线性的，而多个线性函数的组合仍然是线性函数，对于多个隐藏层的神经网络，如果每一层都是线性函数，那么这些层在做的就只是进行线性计算，最终效果和一个隐藏层相当！那这样的模型的表达能力就非常有限 。 实际上大多数情况下输入数据和输出数据的关系都是非线性的。所以我们通常会用非线性函数对每一层进行激活，大大增加模型可以表达的内容（模型的表达效率和层数有关）。 这时就需要在每一层的后面加上激活函数，为模型提供非线性，使得模型可以表达的形式更多，同时也可以更改模型的输出值，
深度学习笔记（五）——网络优化（1）：学习率自调整、激活函数、损失函数、正则化
拨雪寻春，烧灯续昼
01-13 1420
本文介绍了神经网络优化中的学习率调整策略，常见激活函数，并手写实现激活函数。同时介绍了两种重要的算是函数和正则化方法。
【深度学习】正则化入门
weixin_38516136的博客
10-12 1086
一、前言 最近在看DeepLearning这本书，看到了正则化这一章做一个知识梳理。首先用一张思维导图做个总结。 二、传统机器学习中的正则化及相关概念 泛化 学习方法对未知数据的预测能力。 决定机器学习算法效果(泛化能力)的因素： 1.降低训练误差——解决欠拟合问题 2.缩小训练误差和测试误差的差距——解决过拟合问题 3.一个好的机器学习算法是避免了过拟合同时也避免了...
【deeplearning.ai笔记第二课】1.4 正则化，权重初始化和输入归一化
Adrianna的专栏
10-19 2891
正则化能减少过拟合，那么有哪些方法呢？我们来看一下：1.1 cost function加上正则项 L2 regularization即在 cost function 加上 L2 norm: ∑θ2​\sum\theta^2​L1 regularization即在 cost function 加上 L1 norm: ∑∥θ∥\sum \lVert \theta\rVert 1.2 weight
机器学习基础
没有胡子的猫Asimov
07-04 513
机器学习基础 1. 机器学习的基本内容 监督学习 无监督学习 半监督学习 强化学习 2. 常用的正则化方法 正则化是解决过拟合的常用方法。 正则化是什么呢？ 在机器学习中很多显式的用来减少测试误差的策略，统称为正则化。 正则化的目的是减少泛化误差而不是训练误差。 2.1权重正则化 L2正则化称为：权重衰减(Weight Deacy) minθ12m∑i=1m(hθ(x(i))−y(i))2+λ∣∣W∣∣2 min_\theta\frac{1}{2m}\sum_{i=1}^m(
正则化如何影响权重？
优快云 精品推荐
08-09 406
总之，正则化通过在损失函数中引入惩罚项，影响权重的学习和更新方式，从而改善模型的泛化能力，防止过拟合，并促使模型更加健壮地适应新数据。不同类型的正则化（如L1正则化、L2正则化等）可以根据问题的特点选择适合的方式。正则化可以影响权重的学习方式和最终的权重值，从而改善模型的泛化能力。过拟合往往是因为模型过于复杂，而正则化可以有效地减少模型的复杂性，从而降低过拟合的风险。正则化可以提高模型在未见过的数据上的性能，因为它通过限制权重的值，减少了模型对训练数据中噪声的敏感性。
【学习day5】正则化+权重衰退
Sonia8的博客
01-10 1082
权重衰减
权重正则化项(Keras)
butebeizhanghao的博客
02-19 1868
权重正则化项(Keras) L1 正则化（L1 regularization）：添加的成本与权重系数的绝对值［权重的 L1 范数（norm）］ 成正比。 L2 正则化（L2 regularization）：添加的成本与权重系数的平方（权重的 L2 范数）成正比。 神经网络的 L2 正则化也叫权重衰减（weight decay）。不要被不同的名称搞混，权重衰减 与 L2 正则化在数学上是完全相同的。 在 Keras 中，添加权重正则化的方法是向层传递权重正则化项实例（weight regularizer in
深度学习正则化技术之权重衰减法、暂退法（通俗易懂版）
最新发布
m0_59704905的博客
03-13 1282
影响模型泛性的因素有？什么是正则化技术？有什么用？权重衰减——限制参数“放飞自我”。暂退法——神经元随机装傻。
C语言实现神经网络：Sigmoid激活函数与初始化
总结来说，这段代码展示了如何在C语言中构建一个基础的BP神经网络模型，包括网络结构的定义、初始化以及训练流程的框架。实际应用时，还需要添加完整的训练循环、误差计算和权重更新的逻辑。同时，为了优化性能和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值