数值稳定性+模型初始化和激活函数

最新推荐文章于 2025-05-29 14:38:08 发布
最新推荐文章于 2025-05-29 14:38:08 发布
阅读量339 收藏 4
点赞数 5
文章标签： 机器学习 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_44763553/article/details/144895877
版权

数值稳定性

所有h都是向量，向量对向量求导是矩阵，里面会做d-t次矩阵乘法

让训练更加稳定

  • 目标：让梯度值在合理的范围内[1e-6, 1e3]
  • 让乘法变为加法
    • LSTM，ResNet
  • 归一化
    • 梯度归一化，梯度裁剪
  • 合理的权重初始和激活函数

让每层的方差是一个常数

  • 将每层的输出和梯度都看作随机变量
  • 均值和方差都保持一致

  • 在合理值区间里随机初始参数
  • 训练开始的时候更容易有数值不稳定
    • 远离最优解的地方损失函数表面可能很复杂
    • 最优解附近表面会比较平
  • 使用N(0,0.01)来初识可能对小网络没问题，但不能保证深度神经网络

除非输入==输出，不然满足不了第一个条件

、

线性激活函数不会产生非线性

合理权重初始值和激活函数的选取可以提升数值稳定性

Q&A

  • inf是权重初始值太大产生的，nan是除0
  • 均值和方差做限制

数值稳定性 + 模型初始化和激活函数
taoist1997的博客
12-25 474
14 数值稳定性 + 模型初始化和激活函数【动手学深度学习v2】
李沐《动手学深度学习》课程笔记：14 数值稳定性 + 模型初始化和激活函数
weixin_44850744的博客
03-03 1288
目录 14 数值稳定性 + 模型初始化和激活函数 1.数值稳定性 2.模型初始化和激活函数 14 数值稳定性 + 模型初始化和激活函数 1.数值稳定性 考虑一个具有L层、输入x和输出o的深层网络。 每一层l由变换fl定义， 该变换的参数为权重W(l)， 其隐藏变量是h(l)（令h(0)=x）。 我们的网络可以表示为： (4.8.1)h(l)=fl(h(l−1))因此o=...
深度学习笔记 —— 数值稳定性 + 模型初始化和激活函数
LightInDarkness的博客
03-26 766
t：层 ：第t-1层隐藏层的输出 y：要优化的目标函数 这里的h都是一些向量，向量关于向量的导数是一个矩阵，这里做了太多的矩阵乘法，就容易导致梯度爆炸和梯度消失的问题。
数值稳定性、模型初始化和激活函数
qq_58317297的博客
06-27 524
Var(x)=E(x^2)-E(x)^2，这里E(x)=0（把E^2变成了Var[]）pytorch的normal函数里面传参是标准差，数学上的正态分布写的是方差，这里按normal函数来的。b、对学习率敏感，如果学习率太大->大参数值->更大的梯度，如果学习率太小>训练无进展，我们可能需要在训练过程不断调整学习率。h^(t-1)是t-1层的输出，也就是t层的输入，y是需要优化的目标函数，向量关于向量的倒数是一个矩阵。3、将每一层的输出和梯度都看成随机变量，使每一层权重为均值为0，方差为常数、
动手学深度学习14 数值稳定性+模型初始化和激活函数
weixin_42831564的博客
04-25 705
*视频：**https://www.bilibili.com/video/BV1u64y1i75a/?**电子书：**https://zh-v2.d2l.ai/chapter_multilayer-perceptrons/numerical-stability-and-init.html**课件：**https://courses.d2l.ai/zh-v2/assets/pdfs/part-0_18.pdf这一章不好理解，数学推理较多。
李沐之数值稳定性+模型初始化和激活函数
m0_51133942的博客
01-05 1284
层记为t,这里的y不是预测，还包括了损失函数，y是优化函数，不是预测的结果y。第t层是输出。所有的h都是一些向量，向量关于向量的导数是一个矩阵，所以用了很多次的矩阵乘法，出问题就在这里。
李沐-数值稳定性+模型初始化和激活函数
O_011的博客
08-29 248
李沐-数值稳定性+模型初始化和激活函数
深度学习笔记10：数值稳定性+模型初始化和激活函数
qq_49407329的博客
08-28 385
学习李沐老师的深度学习（pytorch），做的笔记10（视频14）~~~
跟李沐学AI：数值稳定性、模型初始化和激活
Landy_Jay的博客
07-19 524
当数值过大或过小时会导致数值问题问题常发生在深度模型中，因为其会对n个数值累乘。
4-4 数值稳定性 + 模型初始化和激活函数
Alkali!的博客
07-26 638
这里的t表示层，假设ht−1是第t−1层隐藏层的输出，经过一个ft​得到第t层隐藏层的输出ht。y表示x进来，第一层一直到第d层，最后到一个损失函数，就是我们预测的，要优化的目标函数。y这里不是预测，y还包括了损失函数。如果我们计算损失l关于我们某一个层权重Wt的梯度的话，损失l自顶向下求导，一直求到第t层的输出ht，再乘以第t层的输出ht关于第t层的权重Wt的导数。注意到说，这里的所有的h。
深度学习笔记——数值稳定性、模型初始化与激活函数
静静的学习就好
05-12 759
本节将对数值稳定性、模型初始化以及激活函数进行系统介绍。
跟李沐学AI-动手学深度学习-数值稳定性+模型初始化和激活函数
哇哈哈哈的博客
09-11 665
数值稳定性 神经网络的梯度 考虑如下有d层的神经网络 计算损失l关于参数Wt的梯度 数值稳定性的常见两个问题 梯度消失 和 梯度爆炸 例子： MLP 加入如下MLP（为了简单省略了偏移） 梯度爆炸 使用ReLU作为激活函数。 梯度爆炸的问题 值超出值域(infinity) 对于16位浮点数尤为严重（数值区间6e-5 - 6e4）。 对学习率敏感 如果学习率太大 -> 大参数值 -> 更大的梯度。 如果学习率太...
【深度学习】数值稳定性和模型初始化
Sakura_ding的博客
02-17 935
到目前为止，我们实现的每个模型都是根据某个预先指定的分布来初始化模型的参数。有人会认为初始化方案是理所当然的，忽略了如何做出这些选择的细节。甚至有人可能会觉得，初始化方案的选择并不是特别重要。相反，初始化方案的选择在神经网络学习中起着举足轻重的作用，它对保持数值稳定性至关重要。此外，这些初始化方案的选择可以与非线性激活函数的选择有趣的结合在一起。。糟糕选择可能会导致我们在训练时遇到梯度爆炸或梯度消失。本节将更详细地探讨这些主题，并讨论一些有用的启发式方法。这些启发式方法在整个深度学习生涯中都很有用。
AI时代新词-生成对抗网络（GAN）
smileKH的博客
05-26 802
生成对抗网络（Generative Adversarial Network，简称GAN）是一种由生成器（Generator）和判别器（Discriminator）组成的深度学习模型。GAN的核心思想是通过生成器生成逼真的数据，同时通过判别器判断生成的数据是否真实，两者相互对抗、相互学习，最终使生成器能够生成高质量的假数据。GAN在图像生成、视频生成、音频生成等领域有着广泛的应用。
AI时代新词-机器学习即服务（MLaaS）
smileKH的博客
05-26 740
机器学习即服务（Machine Learning as a Service，简称MLaaS）是一种云计算服务模式，它将机器学习工具和平台作为服务提供给用户。用户可以通过云平台访问机器学习的基础设施、算法、模型训练和部署等功能，而无需自行搭建复杂的硬件和软件环境。MLaaS的目标是降低机器学习的门槛，使更多的企业和开发者能够轻松地利用机器学习技术解决实际问题。
植被监测新范式！Python驱动机器学习反演NDVI/LAI关键技术解析
aishangyanxiu的博客
05-28 365
在全球气候变化与生态环境监测的重要需求下，植被参数遥感反演作为定量评估植被生理状态、结构特征及生态功能的核心技术，正面临数据复杂度提升、模型精度要求高、多源异构数据融合等挑战。AI 凭借强大的非线性拟合能力、数据特征自动提取优势及跨模态信息融合潜力，能够高效处理遥感数据中的噪声与不确定性，显著提升植被参数（如叶面积指数、叶绿素含量、植被覆盖度等）反演的精度与鲁棒性。5、AI的提问框架【提示词、指令】、AI的应用妙招【指令优化】5、植被参数SVR遥感反演模型【调整代码、构建反演模型】
基于机器学习的沪深300指数波动率预测：模型比较与实证分析
道亦无名
05-26 1039
沪深 300 指数由中证指数有限公司负责编制和维护，其编制方法严谨科学，具有高度的代表性和权威性。选样空间方面，涵盖了在上海和深圳证券交易所上市交易时间超过一个季度的非 ST、*ST 股票，且要求公司经营状况良好，最近一年无重大违法违规事件、财务报告无重大问题，股票价格无明显的异常波动或市场操纵，同时剔除其他经专家认定不能进入指数的股票。在此基础上，以规模大、流动性好作为样本股的选样标准。
【NATURE氮化镓】GaN超晶格多沟道场效应晶体管的“闩锁效应”
最新发布
荷塘阅色
05-29 107
2025年X月X日，布里斯托大学的Akhil S. Kumar等人在《Nature Electronics》期刊发表了r-文章，基于AlGaN/GaN超晶格多通道场效应晶体管的研究，通过实验测量、模拟和电致发光成像，首次在GaN基多通道晶体管中观察到类似硅基器件的“闩锁效应”，即在高于14V的漏极偏压下，漏极电流会从“关断态”急剧变化到“高电流通态”，并在低于60 mV/decade的阈值电压范围内出现极陡峭的亚阈值斜率。
学习深度学习是否要先学习机器学习？
2501_91695603的博客
05-17 1852
不管你后面是不是真的想要从事机器学习或者深度学习这方面，我都希望你能有时间去学习的时候，多多的了解一下 AI 技术 ，还是那句话，时间紧的情况下，怎么快速的为目标服务是最重要的，先学对自己有用自己需要的内容。就比如我给计算机一些动物的图片，然后告诉计算机哪个是老虎，哪个是狮子，计算机根据我给出的“图片和答案的特征”去学习“老虎为什么是老虎，狮子为什么是狮子”。这三部分看着挺唬人，其实只需要学习需要的内容，如果你的时间稍微宽裕一点，可以花一个半月左右的时间，如果时间紧，那就压在一个月以内一鼓作气的搞定。
数值稳定性和模型初始化
03-12
<think>嗯，用户现在想了解数值稳定性和模型初始化。之前他们问过暂退法，现在这个问题也是深度学习中的重要概念。我需要先理清楚这两个概念的关系以及各自的作用。 首先，数值稳定性。在神经网络训练中，尤其是深层网络，梯度可能会在反向传播时变得非常大或非常小，导致数值问题，比如梯度爆炸或消失。这会使得模型无法有效训练，参数更新不稳定或者根本无法更新。数值稳定性就是确保在前向传播和反向传播过程中，各层的输出和梯度保持在一个合理的范围内，避免极端值出现。 然后是模型初始化。正确的初始化方法对模型的训练至关重要。如果权重初始化为全零，可能导致对称性问题，神经元之间无法差异化学习。而随机初始化如果方差过大或过小，也会导致梯度问题。比如，Xavier初始化或者He初始化就是根据激活函数的类型来调整权重的方差，确保各层的输入和输出方差保持一致，从而维持数值稳定性。 用户可能想知道这两个概念如何相互关联。比如，好的初始化方法有助于维持数值稳定性，避免梯度消失或爆炸。反过来，数值稳定性问题也促使研究者设计更合理的初始化策略。需要举例子说明，比如使用Sigmoid激活函数时，如果权重初始化不当，容易导致梯度消失，而使用He初始化可以缓解这个问题。 另外，可能需要对比不同的初始化方法，比如Xavier和He的区别，以及它们适用的激活函数。比如Xavier适合tanh，He适合ReLU。这有助于用户在实际应用中选择合适的初始化方法。 还要考虑用户可能的实际应用场景，比如在搭建神经网络时，应该如何选择初始化方法，以及初始化对训练过程的具体影响。可能需要提到一些代码示例，比如在PyTorch中如何设置初始化，或者使用哪些库函数。 另外，数值稳定性还涉及其他技术，比如批量归一化（Batch Normalization），但用户的问题集中在初始化，所以可能需要简要提到其与初始化的互补作用，但主要聚焦在初始化上。 需要确保解释清晰，结构合理，用类比帮助理解。比如，把神经网络的前向传播比作信号在多级放大器中的传递，如果每一级的增益不合适，信号可能会被放大到失真或衰减到消失，初始化就是设置合适的初始增益，保持信号在合理范围内。 还要注意数学表达，比如方差一致性原则，用公式表示Xavier初始化的方差计算，但保持简单易懂。例如，对于全连接层，输入维度为n，则权重方差应设为1/n，或者2/(n_in + n_out)等，根据激活函数调整。 最后，总结数值稳定性和模型初始化的关系，强调正确初始化是维持数值稳定性的基础，而数值稳定性是模型有效训练的前提。可能还要提到常见的错误初始化案例及其后果，比如导致训练初期loss为NaN等，帮助用户识别问题。</think>### 一句话本质 **数值稳定性与模型初始化 = 确保神经网络训练时信号传递不爆炸（数值过大）不消失（数值过小），如同在多米诺骨牌中控制每一块的力量传递** --- ### 类比场景 想象训练神经网络像**多米诺骨牌接力**： 1. **初始化力量过大**：第一块牌用力过猛 → 后续骨牌被击飞（梯度爆炸，数值溢出） 2. **初始化力量过小**：第一块牌轻轻触碰 → 骨牌纹丝不动（梯度消失，参数无法更新） 3. **理想初始化**：每块牌间距和推力刚好 → 完美连锁反应（数值稳定，有效学习） --- ### 数学角度（关键问题） 1. **梯度爆炸**：权重矩阵$W$的最大特征值$>1$ → 连乘后梯度$\nabla$指数增长 $$ \|\nabla W^L\| \propto \lambda_{max}^L $$ 2. **梯度消失**：权重矩阵$W$的最大特征值$<1$ → 连乘后梯度$\nabla$趋近于零 3. **初始化目标**：保持前向传播激活值方差和反向传播梯度方差一致 $$ \text{Var}(h^{l}) = \text{Var}(h^{l-1}) $$ --- ### 经典初始化方法对比 | 方法 | 公式 | 适用场景 | 数学原理 | |---------------|--------------------------|------------------|-----------------------| | **Xavier初始化** | $W_{ij} \sim \mathcal{N}(0, \frac{2}{n_{in}+n_{out}})$ | tanh/sigmoid | 保持输入输出方差一致 | | **He初始化** | $W_{ij} \sim \mathcal{N}(0, \frac{2}{n_{in}})$ | ReLU及其变体 | 修正ReLU的零区域特性 | | **零初始化** | $W_{ij} = 0$ | ❌ 绝对禁止使用 | 导致神经元对称性破坏 | --- ### 实际代码演示（PyTorch初始化对比） ```python import torch.nn as nn # 危险的全零初始化（导致梯度消失） def bad_init(m): if isinstance(m, nn.Linear): nn.init.constant_(m.weight, 0) # 权重全零 nn.init.constant_(m.bias, 0.1) # 偏置轻微扰动 # 正确的He初始化（适配ReLU） def he_init(m): if isinstance(m, nn.Linear): nn.init.kaiming_normal_(m.weight, mode='fan_in', nonlinearity='relu') # 初始化效果对比（观察第一层输出的标准差） layer = nn.Linear(256, 512) bad_init(layer) print("Bad init std:", layer.weight.data.std()) # 输出接近0 he_init(layer) print("He init std:", layer.weight.data.std()) # 接近√(2/256)≈0.088 ``` --- ### 典型故障案例 1. **梯度爆炸现象**：训练时出现`NaN`损失值 → 检查权重初始化范围 2. **梯度消失现象**：模型准确率始终不提升 → 改用He/Xavier初始化 3. **激活值饱和**：使用sigmoid时所有输出接近0.5 → 初始化权重过大致使输入进入sigmoid饱和区 --- ### 与批量归一化的关系 - **互补作用**：批量归一化（BatchNorm）通过标准化激活值增强稳定性 → 允许使用更大的学习率 - **组合策略**：先用He初始化，再添加BatchNorm层 → 形成双保险（如ResNet标准配置） --- ### 特殊场景处理技巧 1. **Transformer模型**：使用$\sqrt{d}$缩放的点积注意力（防止softmax输入过大） 2. **LSTM网络**：采用正交初始化（保持长程依赖中的梯度流动） 3. **GAN对抗训练**：生成器和判别器使用差异化初始化（避免模式崩溃） --- ### 历史启示 2010年前：神经网络被称为"难以训练的黑箱" → 本质是初始化方法不当导致数值不稳定 2012年后：Xavier/He初始化+ReLU+BN → 深度学习爆发式发展的三大支柱
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值