深度学习笔记 —— 数值稳定性 + 模型初始化和激活函数

最新推荐文章于 2024-11-30 10:45:00 发布
原创 最新推荐文章于 2024-11-30 10:45:00 发布 · 796 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习

本文讨论了深度学习中常见的梯度问题——梯度爆炸与梯度消失，并介绍了两种解决方法：归一化和梯度裁剪。归一化有助于将梯度调整到标准正态分布，而梯度裁剪则限制梯度的大小，确保训练过程稳定。

t：层

h^{t-1}：第t-1层隐藏层的输出

y：要优化的目标函数

这里的h都是一些向量，向量关于向量的导数是一个矩阵，这里做了太多的矩阵乘法，就容易导致梯度爆炸和梯度消失的问题。

 

 

 

因此我们既要避免梯度太大，也要避免梯度太小 

 

归一化：比如说把梯度变为一个均值为0，方差为1的数（把过大的值拉回来）

梯度裁剪：比如说梯度大于5，就变成5，即把梯度限制在一定范围内

 

个人理解：为了将输出和梯度限定在一定范围内，我们从权重初始化和激活函数的选择入手，通过一系列的公式推到，得出不同情况下该怎样进行优化以达到我们的目的 

 

 

 

 

 

 

 

 

深度学习笔记——权重初始化、评估指标、梯度消失和梯度爆炸
haopinglianlian的博客
11-22 1825
本文介绍深度学习常见的概念——权重初始化、评估指标、梯度消失和梯度爆炸。
深度学习笔记——归一化、正则化
haopinglianlian的博客
11-21 3067
本笔记介绍深度学习中常见的归一化、正则化。
深度学习笔记——数值稳定性、模型初始化与激活函数
静静的学习就好
05-12 905
本节将对数值稳定性、模型初始化以及激活函数进行系统介绍。
深度学习——数值稳定性+模型初始化+激活函数（笔记）
jbkjhji的博客
11-22 572
②对学习率敏感：学习率太大，大的参数，梯度更大了。学习率太小，小的参数乘梯度，优化不起作用了。所以 d-t很大代表层数多，W大于1，值很大，梯度爆炸。一.数值稳定性：随着网络的层数的增加，数值可能变得不稳定。①目标：让梯度值在合理的范围内[1e-6,1e3]y是损失函数也是目标函数，从第一层一直到d层。二，让训练更加稳定【梯度不能太小和太大】合理的权重初始和激活函数（对梯度的影响）输入的值大一些，梯度就接近于0.②计算损失函数l关于参数的梯度，③归一化：梯度归一化，梯度裁剪。第t层隐藏层的计算，省略偏移。
李沐《动手学深度学习》课程笔记：14 数值稳定性 + 模型初始化和激活函数
weixin_44850744的博客
03-03 1327
目录 14 数值稳定性 + 模型初始化和激活函数 1.数值稳定性 2.模型初始化和激活函数 14 数值稳定性 + 模型初始化和激活函数 1.数值稳定性 考虑一个具有L层、输入x和输出o的深层网络。 每一层l由变换fl定义， 该变换的参数为权重W(l)， 其隐藏变量是h(l)（令h(0)=x）。 我们的网络可以表示为： (4.8.1)h(l)=fl(h(l−1))因此o=...
动手学深度学之数值稳定性&模型初始化&激活函数
Trony的博客
08-11 404
数值稳定性 神经网络的梯度 这里的t是第t层，这里hth^tht是第t层的输出，y表示表示第1层到第d层的加上一个损失函数的一个目标函数。 如果这里要计算损失l\mathcal{l}l关于第t层的参数WtW_tWt​的梯度，就是用链式法则，一直往下求，求到第t层，这里我们的h是一个向量，向量关于向量的导数是一个矩阵，所以这里就可以看作d-t次的矩阵的乘法，这样的一个矩阵的乘法带来了两个问题，一个是梯度爆炸，一个是梯度消失 数值稳定性的常见两个问题 例子 假如如下MLP(多层感知机)(这里为了简单省
【笔记】动手学深度学习 - 数值稳定性 + 模型初始化和激活函数
echo_gou的博客
08-31 405
数值稳定性 其中t为层。为t-1层的输出 如果层数比较多，就有可能出现梯度爆炸或者梯度消失。 生物神经元似乎是用 Sigmoid（S 型）激活函数活动的，因此研究人员在很长一段时间内坚持 Sigmoid 函数。但事实证明，Relu 激活函数通常在 ANN 工作得更好。这是生物研究误导的例子之一。当神经网络有很多层，每个隐藏层都使用Sigmoid函数作为激励函数时，很容易引起梯度消失的问题 因为sigmoid有一个缺点：当x较大或较小时，导数接近0；并且Sigmoid函数导...
深度学习笔记——模型训练工具（DeepSpeed、Accelerate）
最新发布
haopinglianlian的博客
11-30 2001
本文详细介绍深度学习模型训练中常用的工具及其特点，包括DeepSpeed和Accelerate。
数值稳定性 + 模型初始化和激活函数
taoist1997的博客
12-25 505
14 数值稳定性 + 模型初始化和激活函数【动手学深度学习v2】
数值稳定性、模型初始化和激活函数
qq_58317297的博客
06-27 626
Var(x)=E(x^2)-E(x)^2，这里E(x)=0（把E^2变成了Var[]）pytorch的normal函数里面传参是标准差，数学上的正态分布写的是方差，这里按normal函数来的。b、对学习率敏感，如果学习率太大->大参数值->更大的梯度，如果学习率太小>训练无进展，我们可能需要在训练过程不断调整学习率。h^(t-1)是t-1层的输出，也就是t层的输入，y是需要优化的目标函数，向量关于向量的倒数是一个矩阵。3、将每一层的输出和梯度都看成随机变量，使每一层权重为均值为0，方差为常数、
关于tensorflow的几种参数初始化方法小结
09-18
今天小编就为大家分享一篇关于tensorflow的几种参数初始化方法小结，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
李沐-数值稳定性+模型初始化和激活函数
O_011的博客
08-29 275
李沐-数值稳定性+模型初始化和激活函数
【动手学深度学习PyTorch版】8 数值稳定性、模型初始化、激活函数
水w的博客
10-24 857
数值稳定性、模型初始化、激活函数
读书笔记-数值稳定性和模型初始化
scar2016的博客
11-27 1611
文章目录1. 背景 1. 背景
动手学深度学习（十六）——数值稳定性和模型初始化(公式说明)
Liu Feng's Blog
07-29 2040
文章目录一、数值稳定性——梯度消失和梯度爆炸二、多层感知机器（MLP）中说明梯度爆炸和梯度消失2.1 梯度爆炸梯度爆炸的问题2.2 梯度消失梯度消失的问题2.3总结如何让训练更加稳定？三、模型初始化和激活函数3.1 权重初始化3.2 让每一层的方差都是一个常数Xavier初始化：以多层感知机为例假设线性的激活函数3.3 总结 一、数值稳定性——梯度消失和梯度爆炸 考虑一个具有LLL层、输入x\mathbf{x}x和输出o\mathbf{o}o的深层网络。每一层lll由变换flf_lfl​定义，该变换的参数为
深度学习——模型的初始化
m0_61796189的博客
05-20 4977
在深度学习模型的训练中，权重的初始值极为重要。一个好的权重值，会使模型收敛速度提高，使模型准确率更精确，因此本文主要介绍torch.nn.init以及如何使用
动手学深度学习——模型参数的访问、初始化和共享
橙子的博客
01-26 2110
这一节我们从nn 中导⼊了 init 模块，它包含了多种模型初始化⽅法。 import torch from torch import nn from torch.nn import init net=nn.Sequential(nn.Linear(4,3),nn.ReLU(),nn.Linear(3,1)) #pytorch已进行默认初始化 print(net) X=torch.rand(2,4) Y=net(X).sum() 输出： """访问模型参数""" #通过 Module 类
深度学习模型九大经典初始化方案
极光喵的博客
03-06 2954
自适应初始化方法通过根据具体模型和数据动态调整初始化参数，可以显著提高模型训练的起始性能，尤其是在复杂的模型或不常见的架构中。这种方法的核心思想是在模型的训练初期，通过优化一个小的数据集上的训练损失来确定初始化参数。这个近似正交的矩阵被用作网络层的权重。在实现稀疏初始化时，通常会指定一个稀疏度参数（如每个神经元连接到的前一层神经元的数量），然后随机选择这些连接并赋予它们非零的权重。Delta-正交初始化有助于在训练过程中保持卷积层输出的特征图的多样性，从而防止梯度消失或爆炸，特别是在深层卷积网络中。
深度学习常用的初始化方法
Pichairen
06-27 1209
参考链接：https://blog.youkuaiyun.com/xxy0118/article/details/84333635 tf.Variable(tf.random_normal([3, 3, 64, self.c_dim], stddev=np.sqrt(2.0 / 9 / 64))) 其中9 = 3*3 表示卷集成中卷积核的宽和高，64表示当前卷积核的个数。 ...
深度学习新视角：RBM模型修正与学习笔记
深度学习是机器学习领域中的一个高级分支，它通过多层的神经网络来模拟人脑对数据进行处理和分析的方式，从而进行模式识别和学习任务。受限玻尔兹曼机（Restricted Boltzmann Machine，简称RBM）是深度学习中的一种...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值