BatchNormalization 关于正则化、梯度弥散..

最新推荐文章于 2025-03-31 09:26:38 发布
最新推荐文章于 2025-03-31 09:26:38 发布
阅读量471 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43428894/article/details/88727750
博客介绍了Batch normalization（BN），它通过mini - batch进行归一化，解决数据分布多元化不利于DNN训练的问题，在训练和推理阶段有不同处理方式，能加速收敛、正则化、减轻梯度弥散。还提到Learning rate因BN后数据状态更好可适当增大。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Batch normalization

要知道，数据分布太多元化并不利于DNN的训练。

BN的提出就是为了狙击这个问题。

出于whitening的代价太大了，BN采用了mini-batch进行normalization的方案。

用一个 N × C × H × W N\times C \times H \times W N×C×H×W的数据举栗：

在大小为 M （ M &lt; N ） M（M&lt;N） M（M<N）的batch之中，基于信道 C C C求均值、方差。

μ B ← 1 m ∑ i = 1 m x i \mu_B \leftarrow \frac{1}{m}\sum_{i=1}^mx_i μB​←m1​∑i=1m​xi​

σ B 2 ← 1 m ∑ i = 1 m ( x i − μ B ) 2 \sigma_B^2 \leftarrow \frac{1}{m}\sum_{i=1}^m(x_i-\mu_B)^2 σB2​←m1​∑i=1m​(xi​−μB​)2

x ^ i ← x i − μ B σ B 2 + ϵ \hat x_i \leftarrow \frac{x_i-\mu_B}{\sqrt{\sigma_B^2+\epsilon}} x^i​←σB2​+ϵ ​xi​−μB​​

y i ← γ x ^ i + β y_i \leftarrow \gamma\hat x_i +\beta yi​←γx^i​+β

x ^ i \hat x_i x^i​就是减去均值，除去方差根的数据。

然后通过 γ , β \gamma,\beta γ,β 再学习得到新的数据 y i y_i yi​。

（没有 γ , β \gamma,\beta γ,β的话，所有数据都是一个分布，这样每层传递出的信息就被切断了。 γ , β \gamma,\beta γ,β的加入就是为了在「弥补信息损失」和「加速收敛」之间找到一个平衡点）

不过这是在training阶段，在inference阶段，是用training时候得到的均值和方差（经过小小处理）来对test-data进行归一化的（单纯线性变换一下了，很快）：

x ^ = x − E [ x ] V a r [ x ] + ϵ \hat x = \frac{x-E[x]}{\sqrt{Var[x]+\epsilon}} x^=Var[x]+ϵ ​x−E[x]​

V a r [ x ] = m m − 1 E B [ σ B 2 ] , E [ x ] = E [ μ B ] Var[x]=\frac{m}{m-1}E_B[ \sigma_B^2],E[x]=E[\mu_B] Var[x]=m−1m​EB​[σB2​],E[x]=E[μB​]

⬆️ V a r [ x ] , E [ x ] Var[x],E[x] Var[x],E[x]是整合了training期间各个 μ B , σ B 2 \mu_B,\sigma_B^2 μB​,σB2​得到的Ծ ̮ Ծ。

在BN的论文中，用了 s i g m o i d sigmoid sigmoid的激活函数，此举将数据大致固定在 s i g m o i d sigmoid sigmoid的线形区域，起到了加速收敛，正则化的作用。（why?）

个人理解：

​ 在 s i g m o i d sigmoid sigmoid的饱和区，bp的时候， s i g m o i d ′ ( ) sigmoid&#x27;() sigmoid′()是非常小的（今天定个小目标，先给更新一丢丢），在线形区收敛速度自然会快。

​ 至于正则化，也是因为线性区的缘故：线性变换+线性变换+线性变换=线性变换（✧(σ๑˃̶̀ꇴ˂̶́)σ ），这样子出来的曲线就会不会东扭西扭，扭成麻花导致过拟合啦。

DNN在反向传播过程中有可能会出现梯度弥散，BN对这个则有奇效。

首先梯度弥散是如何造成的呢？

一个原因是激活函数可能陷入饱和区导致grad太小啦（上面说到的 s i g m o i d ′ ( ) sigmoid&#x27;() sigmoid′()就是栗子）。

还有一个就是 W 1 W 2 W 3 … W1W2W3… W1W2W3…，如果 W 1 &lt; 1 , W 2 &lt; 1 , W 3 &lt; 1 … W1&lt;1,W2&lt;1,W3&lt;1… W1<1,W2<1,W3<1…，相乘直接就vanish咯。

BN应对第一个原因就是弯的给他掰直！（斜眼笑）

至于应对第二个原因， ∂ y ∂ x ^ = γ \frac{\partial y}{\partial\hat x}=\gamma ∂x^∂y​=γ ，不过我认为 γ \gamma γ没有这么猛吧（小声BB，待我跑个程序验证一下）。

应该是如Physcal所说的：

直观上来说，对于一个网络层：
I、 X X X大点， W W W肯定要小点。
​II、 X X X小点， W W W肯定要大点。
违反这两条，会让激活值处于函数边界，从而被自然选择淘汰掉（有点遗传算法的味道）。
​这是经典的大拇指规则(Rule of Thumb)，由无数前辈的实验得到，似乎已经成了共识。
​normalize之后，各层的XX遭到了压制，并且向高斯分布中心进行数值收缩。
​进而，由 X X X影响到了 W W W， W W W也向高斯分布中心进行数值收缩。
​这样， W 1 W 2 W 3 … … . W n W1W2W3…….Wn W1W2W3…….Wn的衰减将会得到可观的减缓。
​这大概是Batch Normalization可以减轻使用ReLU的Gradient Vanish的直接原因。

这一点也可以拿来解释Dropout的正则化作用，Dropout会暂时屏蔽一些单元，然后对保留单元做一个放大（比如说，屏蔽了1/3的单元，就将保留单元放大3/2）, X X X的变大会引起 W （ a l i v e ） W（alive） W（alive）的减小，从而压制了 W W W。

不过梯度衰减这点，inception V3那篇论文说可能人们把它misplace了。。Ծ‸Ծ

Learning rate

Learning rate 是可以更大了，但也不是超级大，不然还是会摆过头的。

learning rate可以更大的原因个人认为是：因为BN后数据处于一个更为健康的状态（身体好，孩子吃饭又快又香），可以用更大的学习率，更少的梯度更新次数。这点知乎网友纳米酱说的比较nice。

Reference:

Ioffe S, Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[J]. arXiv preprint arXiv:1502.03167, 2015.

http://www.cnblogs.com/neopenx/p/5211969.html

https://www.zhihu.com/question/38102762/answer/84238772

归一化：Layer Normalization、Batch Normalization
u013250861的博客
02-22 1131
Normalization 有很多种，但是它们都有一个共同的目的，那就是把输入转化成均值为 0 方差为 1 的数据。我们在把数据送入激活函数之前进行 normalization（归一化），因为我们不希望输入数据落在激活函数的饱和区。同时，使得训练数据在训练过程中尽可能的保持和测试数据拥有相同的分布。 一方面，这样可以减少数据的偏差，避免在训练过程中出现梯度爆炸或是梯度消失的问题； 另一方面，这也是确保模型测试性能的重要假设之一。 二者提出的目的都是为了加快模型收敛，减少训练时间。 LN：Layer
BN（Batch normalization）原理
qq_40107571的博客
07-18 465
BN层的优点1）加快训练速度，防止过拟合。2）可以避免激活函数进入非线性饱和区，从而造成梯度弥散问题。不用理会拟合中的droupout、L2正则化项的参数选择，采用BN算法可以省去这两项或者只需要小的L2正则化约束。原因，BN算法后，参数进行了归一化，原本经过激活函数没有太大影响的神经元分布变得明显，经过一个激活函数以后，神经元会自动削弱或者去除一些神经元，就不用再对其进行dropout。另外就是L2正则化，由于每次训练都进行了归一化，就很少发生由于数据分布不同导致的参数变动过大，带来的参数不断增大。...
机器学习笔记之正则化(六)批标准化(BatchNormalization)
静静的学习就好
04-16 758
本节以梯度消失为引，介绍批标准化(Batch Normalization)。
Batch Normalization（正则化）
小杨的博客
10-02 1262
1. 过拟合的原因 模型参数多，复杂度高 训练数据少，提取的特征不足 2. 梯度弥散和梯度爆炸 梯度弥散： 神经网络采用sigmoid激活函数，误差在前向传递时，经过sigmoid单元，需要乘以sigmoid到的梯度而sigmoid的梯度往往小于1，则误差传递会越来愈小。 训练速度变慢的原因，一般是整体分布逐渐往非线性函数的取值区间的上下限两端靠近(对于sigmoidsigmoid ...
Batch Normalization
xxiaozr的博客
04-20 1706
原文地址：http://blog.csdn.net/hjimce/article/details/50866313随机梯度下降训练深度网络简单高效，但是有一个毛病，需要人为的选择参数，比如学习率，参数初始化，权重衰减系数，Drop out 比例等，这些参数的选择对训练结果至关重要BN算法可以克服这些困难，它的作用如下：可以选择比较大的学习率，BN有快速训练收敛的特性可以移出 drop out 和 ...
深度学习之与学习相关的技巧（篇三Batch Normalization与正则化）
xi125810的博客
04-25 1035
深度学习在上一篇，我们观察了各层的激活值分布，并从中了解到如果设定了合适的权重初始值，则各层的激活值分布会有适当的广度，从而可以顺利地进行学习。那么，为了使各层拥有适当的广度，“强制性”地调整激活值的分布会怎样呢？实际上，Batch Normalization[11]方法就是基于这个想法而产生的。
正则化：Normalization
ACM_hades的博客
03-26 651
参考论文 Batch Normalization Layer Normalization 白化： 独立同分布数据：机器学习界最喜欢的数据莫过于独立同分布数据. 独立同分布并非所有机器学习模型的必然要求,比如Naïve Bayes模型就建立在特征彼此独立的基础之上，而逻辑回归 和神经网络中则在非独立的特征数据上依然可以训练出很好的模型，但独立同分布的数据可以简化常规机器学习模型的训练、提升机器学...
Dropout vs BatchNormalization
weixin_44766179的博客
08-09 6260
Dropout Dropout是神经网络中防止模型过拟合的重要正则化方式。2014年 Hinton 提出了一个神器， 《Dropout: A Simple Way to Prevent Neural Networks from Overfitting 》。原文：(http://jmlr.org/papers/v15/srivastava14a.html)。 dropout 是指在深度学习网络的训练...
梯度弥散（Vanishing Gradient）和梯度爆炸（Exploding Gradient）
浩瀚之水的专栏
03-31 1080
梯度弥散（Vanishing Gradient）和梯度爆炸（Exploding Gradient）是深度学习中常见的问题，特别是在训练深度神经网络时。它们会影响模型的训练效果和稳定性。
梯度消失和梯度弥散现象形成的原因和解决方法
weixin_43227526的博客
07-09 4079
1 梯度消失和梯度爆炸产生的原因 https://blog.csdn.net/yhily2008/article/details/80790476 在神经其网络的参数训练过程中，BP(Back Propagation)算法非常重要。BP神经网络工作流程分两步：（1）正向传播输入信号，输出分类信息（对于有监督学习而言，基本上都可归属于分类算法）；（2）反向传播误差信息，调整网络的权值（通过微调网络参数，让下一轮的输出更加准确）。 基于loss函数反向微分调参（链式求导的方法），寻求最优解。隐藏层中的激活函
batch normalization 和 layer normalization 在RNN（LSTM、GRU）上的TensorFlow实现
04-19
batch normalization 和 layer normalization 在RNN（LSTM、GRU）上的TensorFlow实现;运行无误，示例为mnist手写体识别
【深度学习】论文导读：google的批正则方法（Batch Normalization: Accelerating Deep Network Training by Reducing...）
xf__mao的博客
11-13 2004
google2015年的论文，首次提出批正则方法，优化深度神经元网络的学习 摘要 在深度网络的训练中，每一层网络的输入都会因为前一层网络参数的变化导致其分布发生改变，这就要求我们必须使用一个很小的学习率和对参数很好的初始化，但是这么做会让训练过程变得慢而且复杂。作者把这种现象称作Internal Covariate Shift。通过Batch Normalization可以很好的解决这个问
tensorflow中正则化防止过拟合以及Batch Normalization
supe_king的博客
10-25 4282
一、正则化正则化原理这里就不介绍了，网上资源有很多，详情可以点击这里(https://zhuanlan.zhihu.com/p/29297934) 但是网上大多数关于正则化的教程太乱，而且有很多代码 不能试用。这里说一个可以用的： 首先在权值初始话的时候，对权值进行正则化计算，利用函数： tf.contrib.layers.l1_regularizer(lambda1)
Batch Normalization的原理和作用
qq_40924873的博客
05-04 2502
Batch Normalization的原理和作用 论文链接：Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift（Machine Learning 2015） BN是什么 在神经网络中，每一层的输出是下一层的输入，神经网络通过反向传播调整参数。但是我们知道在反向传播的过程中，每一层的参数根据前一层参数变化前的输出进行参数的调整，区别于SVM这些有固定输入的模型，这就导致神经网
LSTM—GRU—indRNN 避免与解决梯度弥散与爆炸--Batch Normalization
红叶谷 wsp_1138886114的博客
08-09 9239
1. LSTM避免RNN的梯度消失（gradient vanishing） 2. LSTM避免RNN的梯度爆炸 3. GRU 与 LSTM 比较 1. LSTM避免RNN的梯度消失（gradient vanishing） RNN的本质是在网络内部维护了一个状态 StStS_t，其中 ttt 表示时间且 StStS_t 可递归计算。 传统的RNN总是...
详解归一化、标准化、正则化以及batch normalization
PiggyRuns的博客
07-01 2662
一文详解归一化、标准化、正则化以及batch normalization
批规范化 Batch Normalization + 正则化作用
Turbo_Come的博客
02-29 2440
正则化作用： 最小化误差：拟合训练数据， 正则化参数：防止模型过分拟合训练数据，通常使用 L2正则化 L0：0范数，扰动 非0元素的个数 L1：1范数，各元素的绝对值之和 L2:2范数，平方和再开方，通常用2范数来衡量扰动的程度 L无穷：无穷范数，各元素的绝对值的最大值，表示扰动的最大值 其他的正则化方法： dropout 丢弃法：每个神经元都有可能被丢掉，因此模型训...
卷机神经网络学习笔记-Batch Normalization的理解以及为什么会有用
IMToxic的博客
11-14 309
原论文：《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》 下图是过程。 我的理解是，BN做的事就是让网络自己去学习均值与方差，这是网络想要的均值和方差，就是参数和。 BN通常在激活函数之前。 BN+PRelu，是常用的结构 然后是为什么。 我在吴恩达的视频里看到的是 第一个原因，本身归一化特征值x就可以是特征都在类似的范围里面，加速学习。比如有十个特征，
Batch Normalization原理与优点总结
linchuhai的博客
11-29 4722
1. 引言     随着深度学习的发展，神经网络的模型的深度越来越大，虽然可以提取到数据中更加深层的特征信息，但是，也容易引起梯度消失或梯度爆炸等问题。当使用SGD优化函数时，我们经常会遇到以下两个问题: 模型对参数初始化方式、学习率的设置特别敏感。 随着网络深度的加深，参数的微小变动都会不断被放大。     为了解决这两个问题，Sergey Ioffe等人在《Batch Normaliza...
梯度爆炸的表现
最新发布
06-24
<think>首先，用户的问题是：“我想了解深度学习中梯度爆炸的表现及可能的解决方案请问深度学习梯度爆炸表现如何解决”。这是一个关于深度学习的问题，具体关注梯度爆炸的表现和解决方案。我需要参考提供的引用。引用[1]、[2]、[3]、[4]都涉及梯度消失和梯度爆炸。用户的问题只提到梯度爆炸，所以我会专注于那个部分，但可能简要提及梯度消失作为对比，因为两者经常一起讨论。引用内容总结：-引用[1]：讨论梯度爆炸的解决方案，包括原理解释、方法汇总、代码实践等。-引用[2]：解释梯度消失和梯度爆炸的底层真相及解决方案，如BN和残差网络。-引用[3]：在Python中实践解决梯度消失和梯度爆炸。-引用[4]：定义梯度弥散（梯度消失）和梯度爆炸，强调激活函数的饱和导致梯度消失。用户的问题关键点：-梯度爆炸的表现（症状）。-如何解决梯度爆炸。我的回答需要：-使用中文。-结构清晰，逐步解决问题。-保证真实可靠。-在回答中引用段落末尾添加引用标识。-使用$...$forinlinemath,$$...$$forblockmath.-生成相关问题。回答结构：1.**介绍梯度爆炸**：简要解释什么是梯度爆炸。2.**表现（症状）**：描述梯度爆炸的典型症状。3.**原因**：简要解释为什么会发生梯度爆炸。4.**解决方案**：列出并详细说明可能的解决方案。5.**代码示例**：如果适用，提供代码片段（使用PyTorch，如引用[1]中提到）。6.**总结**：给出实战建议。7.**生成相关问题**：在末尾添加相关问题。确保LaTeX语法正确：-Inlinemath:如$gradient$，$W$forweights.-Blockmath:如用于反向传播公式。引用标识：-在引用段落末尾添加[^数字]，匹配提供的引用。例如，如果引用引用[1]，添加[^1]。现在，构建回答：-**开头**：直接回答用户问题。-**表现**：从引用[1]和[^4]，梯度爆炸的典型症状包括：损失值剧烈波动、权重更新过大、NaN值出现。-**原因**：梯度爆炸通常由于深度网络中的链式法则，导致梯度指数级增长。-**解决方案**：从引用[1]、[^2]、[^3]、[^4]，解决方案包括：梯度裁剪、权重初始化、使用适当的激活函数、批量归一化（BatchNormalization）、残差网络（ResNet）、学习率调整等。-**代码示例**：提供PyTorch代码，如梯度裁剪的实现。-**结尾**：总结并生成相关问题。生成相关问题：-基于主题，如梯度爆炸的其他方面、相关概念、实践建议。最终回答框架：1.引言：解释梯度爆炸。2.表现：列出症状。3.解决方案：详细说明方法。4.代码实践：PyTorch示例。5.总结。6.相关问题。</think>### 深度学习中的梯度爆炸：表现与解决方案 在深度学习中，梯度爆炸（Gradient Explosion）是指在反向传播过程中，梯度值急剧增大到异常高的水平，导致模型训练不稳定甚至失败的现象。它与梯度消失（Gradient Vanishing）同为深度神经网络中的常见问题，但表现和应对策略有所不同。下面我将从表现、原因、解决方案及代码实践等方面，逐步为您解答。回答基于深度学习理论和实践经验，确保真实可靠。 --- #### 1. **梯度爆炸的表现（症状）** 梯度爆炸在训练过程中会表现出明显的异常现象，主要包括： - **损失值剧烈波动**：损失函数（如交叉熵或均方误差）在训练过程中出现突然的跳跃或发散，例如损失值从正常范围（如0.5）猛增至数千或NaN（Not a Number）[^1]。 - **权重更新过大**：模型权重在更新时幅度异常大，导致参数值溢出（如变为无穷大或NaN）。数学上，如果梯度范数 $\|\nabla L\|$ 超过阈值（如1000），即可视为爆炸[^1][^4]。 - **训练不稳定**：模型收敛困难，训练曲线出现锯齿状波动，或提前终止（例如因数值错误而崩溃）[^2]。 - **输出异常**：预测结果出现无效值（如NaN），或在测试阶段表现急剧下降[^3]。 梯度爆炸的根源在于深度网络中的链式求导：反向传播时，梯度通过多层网络逐层相乘。如果权重矩阵 $W$ 的特征值大于1，梯度会指数级增长（$\nabla L \propto \prod_{i=1}^n W_i$），最终失控[^2][^4]。这与梯度消失（梯度趋近0）形成对比，后者通常由激活函数饱和引起。 --- #### 2. **梯度爆炸的解决方案** 解决梯度爆炸需要综合策略，以下从易到难列出常见方法（共8大类），并附PyTorch代码示例。这些方法在实践中已被证明有效[^1][^2][^3]。 ##### **2.1 梯度裁剪（Gradient Clipping）** 最简单且高效的方案，通过限制梯度范数防止更新幅度过大。PyTorch中可轻松实现： ```python import torch import torch.nn as nn # 定义模型和优化器 model = nn.Linear(10, 1) optimizer = torch.optim.SGD(model.parameters(), lr=0.01) # 训练循环中应用梯度裁剪 for inputs, targets in dataloader: outputs = model(inputs) loss = nn.MSELoss()(outputs, targets) loss.backward() # 梯度裁剪：限制最大范数为1.0 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0) optimizer.step() optimizer.zero_grad() ``` - **原理**：强制 $\|\nabla L\| \leq \text{max\_norm}$，避免权重爆炸[^1]。 - **优点**：实现简单，计算开销小，适用于大多数场景。 ##### **2.2 权重初始化（Weight Initialization）** 合理的初始化可控制梯度传播。推荐使用： - **Xavier初始化**：适用于Sigmoid/Tanh激活函数，初始化权重 $W \sim \mathcal{U}(-\frac{\sqrt{6}}{\sqrt{n_{\text{in}} + n_{\text{out}}}}, \frac{\sqrt{6}}{\sqrt{n_{\text{in}} + n_{\text{out}}}})$，其中 $n_{\text{in}}$ 和 $n_{\text{out}}$ 为输入输出维度[^3]。 - **He初始化**：适用于ReLU激活函数，$W \sim \mathcal{N}(0, \sqrt{\frac{2}{n_{\text{in}}}})$。 在PyTorch中自动应用： ```python nn.Linear(10, 1, bias=True) # 默认使用Kaiming（He）初始化 ``` ##### **2.3 激活函数选择** 避免饱和激活函数（如Sigmoid），改用： - **ReLU及其变体**：如Leaky ReLU（$f(x) = \max(0.01x, x)$）或ELU，减少梯度累积风险[^2][^4]。 - **数学优势**：ReLU的导数在正区间恒为1，防止梯度指数增长。 ##### **2.4 批量归一化（Batch Normalization, BN）** 在每层输入前添加BN层，稳定梯度分布： ```python class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.fc1 = nn.Linear(10, 20) self.bn1 = nn.BatchNorm1d(20) # 添加BN层 self.fc2 = nn.Linear(20, 1) def forward(self, x): x = torch.relu(self.bn1(self.fc1(x))) x = self.fc2(x) return x ``` - **原理**：BN通过归一化输入（$\hat{x} = \frac{x - \mu}{\sigma}$）减少内部协变量偏移，使梯度更平滑[^2][^3]。 ##### **2.5 残差网络（ResNet）** 引入跳跃连接（Skip Connections），缓解深度网络的梯度问题： ```python class ResidualBlock(nn.Module): def __init__(self, in_features): super(ResidualBlock, self).__init__() self.fc = nn.Linear(in_features, in_features) def forward(self, x): residual = x x = torch.relu(self.fc(x)) x += residual # 跳跃连接 return x ``` - **数学形式**：$y = f(x) + x$，确保梯度有直接路径回传，避免累积[^2]。 ##### **2.6 学习率调整** 降低学习率（Learning Rate）或使用自适应优化器： - **Adam优化器**：自动调整学习率，减少爆炸风险。 - **学习率预热（Warmup）**：训练初期逐步增加学习率。 ##### **2.7 正则化技术** 添加L2正则化（权重衰减）约束权重幅度： ```python optimizer = torch.optim.Adam(model.parameters(), lr=0.001, weight_decay=1e-5) # weight_decay即L2系数 ``` ##### **2.8 网络架构优化** - **减少网络深度**：在浅层网络中问题较轻。 - **使用门控机制**：如LSTM/GRU，在RNN中控制梯度流动[^3]。 --- #### 3. **调试与实战建议** - **检测梯度爆炸**：在训练中监控梯度范数： ```python total_norm = torch.norm(torch.stack([torch.norm(p.grad) for p in model.parameters() if p.grad is not None])) print(f"Gradient Norm: {total_norm.item()}") ``` 若范数持续 >100，可能发生爆炸[^1]。 - **综合策略**：优先梯度裁剪+BN+合理初始化，覆盖90%场景。残差网络适用于极深模型（如ResNet-50）[^2]。 - **注意事项**：梯度爆炸常与不当超参（如过高学习率）相关，需结合交叉验证调优。 --- #### 总结 梯度爆炸表现为损失波动、权重溢出等，主要由链式求导中的指数增长引起。通过梯度裁剪、权重初始化、BN等方法可有效控制。在实践中，梯度裁剪是首选快速方案，而BN和ResNet提供深度鲁棒性。稳定训练后，模型能更好地收敛和泛化[^1][^2][^3]。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值