防止神经元饱和的若干方法

最新推荐文章于 2023-09-14 22:34:58 发布
原创 最新推荐文章于 2023-09-14 22:34:58 发布 · 2.6k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#神经元 #饱和 #学习速率

介绍一些技巧，防止神经元饱和导致学习缓慢。

更好的代价函数和激活函数

前面已经介绍，我们使用corss entropy function+sigmoid function 或者softmax active fuction + log-likehood能够较好的避免学习缓慢的问题，具体请参考这里。

但请注意，这里我们只针对输出神经元在错误的值上饱和导致的学习下降，而对隐藏层的神经元毫无办法。

权重初始化

标准正太分布初始化

最常见的初始化神经元方法是使用标准正态分布随机初始化，这会带来一个问题。

设想，我们第一层神经元的 w、b w 、 b 已经初始化为服从 U(0,1) U ( 0 , 1 ) 的正态分布，且输入 x x 为0或者1，这里假设为0的有500个，1也有五百个。

因此，我们考虑带权和：

最低0.47元/天 解锁文章
深度卷积神经网络——Deep Convolutional Neural Networks
lhaof的博客
02-26 6447
本文是对深度学习大牛Hinton于2012年发表在NIPS上面的论文《ImageNet Classification with Deep Convolutional Neural Networks》进行学习的笔记。 1.关于对数据集ImageNet的处理： 研究者将图片down-sample到固定像素256*256。对于一个矩形图片，先放缩图片使短边长度为256，才取此时图片中间的256*25
BP神经网络简单应用实例,bp神经网络的设计方法
神经网络爱好者
10-04 3079
BP（Back Propagation）网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)。 人工神经网络
神经元饱和
chenyuan1111的博客
09-14 319
在误差反向的过程中，误差传递到饱和神经元便不会更新包和神经元参数。这样W参数就会一直不改变。
一文搞懂激活函数(Sigmoid/ReLU/LeakyReLU/PReLU/ELU)
null
05-30 1万+
深度学习算法之前的机器学习算法，并不需要对训练数据作概率统计上的假设；本文将覆盖问题1和问题2，并分析如何采用合适的激活函数解决问题；最后提出一些普适性的选择激活函数的建议。至于问题3，则更多的与Batch Normalization相关。
AlexNet论文笔记
VinciB的博客
07-28 921
Alexnet在当时的cv环境下以算法主要以低误差为优势突出。其中利用到了ImageNet数据集，该数据集内容及其庞大，而大部分的引用仅采用了其中的120万（全部利用效果更好，但是部分引用对结果影响忽略不计）。主要讲了用来5个卷积层以及3个全连接层。为了使训练速度加快，使用了非饱和神经元和非常有效的GPU实现卷积操作。该论文采用的是有监督学习方法，在当时那种以无监督学习为主流的时代具有特殊意义。作者希望在视频序列上使用非常大的深度卷积网络。............
BP神经网络原来就是曲线拟合
dbat
04-17 1645
每个tansig其实就是一个S形曲线，而内外层的w、b则控制了S曲线的高矮肥瘦。而训练则是调整各个S曲线的形态，使最终拼凑出的目标曲线与数据的误差尽量小~因此，每个tansig的输出应该包含【-1.7，1.7】区间。隐节点越多，就意味着用越多的tansig来凑合目标曲线，如果目标曲线简单平滑，就应该设少一些隐节点，限制拟合能力。如果目标曲线起伏跌宕，就应该设多一些隐节点，增强拟合能力。如果不包含，那么该tansig的输出基本就是一条横线，就会突然灵光一闪，天！也就是说，隐节点越多，模型的拟合能力就越强，
数学建模神经网络应用,构建神经网络模型方法
神经网络爱好者
08-30 1953
我想这可能是你想要的神经网络吧！什么是神经网络：人工神经网络（ArtificialNeuralNetworks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（ConnectionModel），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。...
ML基础 - 深度神经网络中解决过拟合的方法
weixin_41332009的博客
02-15 897
1. Batch Normalization 1.1 简介 Batch Normalization作为最近一年来DL的重要成果，已经广泛被证明其有效性和重要性。本节是对论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》的导读。 机器学习领域有个很重要的假设：IID独立同分布假设，就是假设训练数据和测试数据是满足相同分布的，这是通过训练数据获得的模型能够在测试集获
神经网络模型的工作过程,神经网络模型训练过程
m0_54846070的博客
08-21 1159
人工神经网络有很多种，我只会最常用的BP神经网络。不同的网络有不同的结构和不同的学习算法。简单点说，人工神经网络就是一个函数。只是这个函数有别于一般的函数。它比普通的函数多了一个学习的过程。在学习的过程中，它根据正确结果不停地校正自己的网络结构，最后达到一个满意的精度。这时，它才开始真正的工作阶段。学习人工神经网络最好先安装MathWords公司出的MatLab软件。利用该软件，你可以在一周之内就学会建立你自己的人工神经网络解题模型。如果你想自己编程实现人工神经网络，那就需要找一本有关的书籍，专门看神经网络
Neural Network Saturation 神经网络饱和性
None_Pan的博客
05-28 2432
神经网络分类器具有一组输入节点，一组隐藏处理节点和一组输出节点。如果使用tanh激活功能，则隐藏节点的值通常在-1.0到+1.0之间。如果使用softmax激活功能，则输出节点的值将介于0.0和1.0之间。 饱和神经网络是其中大多数隐藏节点的值都接近-1.0或+1.0且输出节点的值都接近0.0或1.0的网络。饱和不是一件好事。如果隐藏节点饱和，则意味着它们的激活前积和相对较大（通常大于4.0）或较小（通常小于-4.0）。 饱和节点会导致这样一种情况，即在训练过程中输入到隐藏权重的微小变化可能不会太大地改变乘
Batch Normalization
pursuit_zhangyu的博客
06-11 1680
参考知乎博客 https://zhuanlan.zhihu.com/p/33173246 https://zhuanlan.zhihu.com/p/52749286 https://www.zhihu.com/question/38102762/answer/607815171 https://zhuanlan.zhihu.com/p/34879333 1 提出背景 https://z...
深度学习(吴恩达)知识总结
YennyMarx的博客
04-08 617
深度学习（吴恩达）简要总结
non-saturating neurons非饱和神经元、saturating neurons饱和神经元 的含义和区别
RuanChengfeng的博客
07-01 4128
参考知乎回答：https://www.zhihu.com/question/264163033 含义： non-saturating neurons = 没有被挤压（到一个特定的区间）处理过的值 saturating neurons = 被挤压（到一个特定的区间）过的值 输出saturating neurons的activation： sigmoid: input neurons的值会被挤压到[0,1]的区间 tanh：input neurons的值会被挤压到[-1,1]的区间 输出non-s
神经网络细节
zfnice的博客
06-30 738
神经网络细节 一、激活函数（Activation Function） * Sigmoid sigmoid函数又被称为挤压函数，取值为[0,1]之间的实数。同时，sigmoid存在3个问题： （1）一个饱和的神经元（Saturated neurons），即神经元的输出要么非常接近1要么非常接近0。这类神经元会导致在反向传播算法中出现梯度趋0的问题，叫做梯度消失。sigmoid函数计算...
人工神经元模型及常见激活函数
热门推荐
牧野的博客
06-26 3万+
人工神经元模型 生物学上神经元通常由细胞体，细胞核，树突和轴突构成。 树突用来接收其他神经元传导过来的信号，一个神经元有多个树突； 细胞核是神经元中的核心模块，用来处理所有的传入信号； 轴突是输出信号的单元，它有很多个轴突末梢，可以给其它神经元的树突传递信号。 人工神经元的模型可以由下图来表述： 图中X1~Xn是从其它神经元传入的输入信号，Wi1
神经网络激活函数的介绍
bjy_fighting的博客
04-07 5934
1、Sigmoid Sigmoid函数在以往的神经网络里是很常用的，但在深度学习里用的并不那么多，它主要有以下不足： a、容易过饱和并且造成梯度消失。从图中可以看出当Sigmoid函数的值为0或1时，而我们知道sigmoid函数的导数等于其本身乘以1-其本身，那么就导致梯度为0的情况出现，考虑到梯度传播时需要与本地的梯度相乘，那么梯度通过该门函数后几乎没有信号流出。因此，在初始化梯度时一定要很小
神经网络梯度消失和梯度爆炸及解决办法
Microstrong
04-21 2万+
关注微信公众号【Microstrong】,我现在研究方向是机器学习、深度学习，分享我在学习过程中的读书笔记！一起来学习，一起来交流，一起来进步吧！本文同步更新在我的微信公众号中，公众号文章地址：https://mp.weixin.qq.com/s/6xHC5woJND14bozsBNaaXQ目录：（1）    神经网络梯度消失与梯度爆炸（2）    几种激活函数的比较推荐阅读：《神经网络激活函数的...
深度学习小白——神经网络1(激活函数)
MargretWG的博客
03-28 4899
一、激活函数 1. Sigmoid                     它可以将输入实数值压缩到0到1的范围内，更具体地说，很大的负数变为0，很大的正数变为1。 但sigmoid 函数有几个缺点 sigmoid函数饱和使梯度消失，当神经元的激活在接近0或者1时会饱和，在这些区域，梯度几乎为0，这样，在反向传播过程中，局部梯度就会接近0，这会有效地“杀死”梯度Sigmoid函数的输
非饱和神经元（non-saturating neurons）
zeronose的博客
10-06 2778
什么是非饱和神经元（non-saturating neurons） 在读AlexNet文章时，在Abstract中发现有non-saturating neurons一词，于是想知道什么是non-saturating neurons。参考知乎回答：https://www.zhihu.com/question/264163033/answer/277468264 含义 non-saturating neurons = 没有被挤压（到一个特定的区间）处理过的值 saturating neurons = 被挤压
BP神经网络优化
最新发布
06-06
<think>首先，用户的问题是："我想了解如何优化BP神经网络的性能或结构请问BP神经网络优化方法调参技巧"，参考了站内引用[1]，其中提供了一些优化方法，如交叉验证、网格搜索、初始化方法等。根据系统指令：-使用中文回答。-回答结构清晰，帮助用户逐步解决问题。-保证回答真实可靠。-行内数学表达式用$...$格式，独立公式用$$...$$。-末尾自然地添加引用标识，如果引用的话。-最后生成相关问题。系统示例是快速排序的代码和相关问题，所以我需要结构化回答。我的角色是AI助手，必须生成相关问题。关键元素：1.**BP神经网络优化**：用户想了解优化方法、调参技巧。2.**参考引用[1]**：引用中提到：-反复实验和验证来确定参数组合。-使用交叉验证、网格搜索或贝叶斯优化。-初始化方法：Xavier/He初始化。-学习率：Adam等自适应学习率算法。-早停法（EarlyStopping）避免过拟合。我需要扩展这些，因为引用仅供参考，我应该基于知识回复，保持真实可靠。BP神经网络优化方法：-**结构优化**：增加/减少隐藏层数、神经元数；使用不同的激活函数（ReLU、sigmoid等）；使用正则化技术如L1/L2正则化、Dropout。-**参数调优**：学习率调整、批次大小、epoch数；优化器选择（Adam、SGD等）；权重初始化（如引用所说）。-**技术方法**：早停法、交叉验证、网格搜索等。-**避免过拟合**：除了早停法，还有批量归一化（BatchNormalization）、数据增强（如果适用）等。-**性能提升**：使用GPU加速、分布式训练等。确保回答结构化：-逐步介绍不同方面。-保持清晰。添加数学表达式：-BP神经网络涉及到公式，如反向传播公式。-例如：反向传播的梯度下降：$\theta^{(t+1)}=\theta^{(t)}-\eta\nablaJ(\theta^{(t)})$-Xavier初始化公式：权重从均匀分布或正态分布初始化，如方差基于输入输出节点数：$\text{Var}(w)=\frac{2}{n_{\text{in}}+n_{\text{out}}}$-独立公式用$$...$$格式。生成相关问题：像示例那样，在末尾列出相关问题。引用标识：用户提供了引用[^1]，但由于引用不是主要来源，我应该基于专业知识回答，自然地添加引用提示。系统说"回答中引用的段落末尾自然地添加引用标识"，但在这里引用是用户给出的，所以如果需要，可以提及引用。计划结构：1.**引言**：简要解释BP神经网络和为什么需要优化。2.**结构优化方法**：-调整隐藏层和神经元。-激活函数选择。-正则化技术。3.**调参技巧**：-学习率（自适应如Adam）。-优化器选择。-批次大小和epoch数。4.**避免过拟合技巧**：-早停法。-Dropout。-批量归一化。5.**其他技术**：-权重初始化（Xavier/He）。-训练技巧如梯度裁剪。-使用搜索方法（网格搜索等）。6.**性能优化**：硬件加速等。7.**总结**。8.**生成相关问题**。用中文回复。相关问题示例：-BP神经网络的过拟合如何避免？-Adam优化器的原理是什么？-如何选择隐藏层和神经元数？最后添加引用：[^1]用于参考的那个段落。</think> ### BP神经网络的优化方法及调参技巧 BP神经网络（Backpropagation Neural Network）是一种经典的前馈神经网络，常用于回归和分类任务。优化其性能或结构通常涉及调整网络结构参数（如层数和神经元数）、训练算法参数（如学习率和优化器）以及使用特定技巧来避免过拟合和加速收敛。以下内容基于BP神经网络的基础理论和实际应用经验整理[^1]，帮助您逐步理解和应用优化方法。我会从结构优化开始，再介绍调参技巧、避免过拟合方法等。过程中使用的数学表达式将遵循系统指令：行内公式用$...$，独立公式用$$...$$格式。 --- #### 1. **网络结构优化** 优化BP神经网络的结构可以提升模型的表达能力，同时减少过拟合风险。目标是找到一个平衡点：结构太简单会导致欠拟合，太复杂会导致计算成本高和过拟合。 - **调整隐藏层和神经元数**：根据问题复杂度选择隐藏层数（通常1-3层足够）和神经元数。经验上，神经元数可由输入和输出维度决定。例如，输入层节点数为$n_{\text{in}}$，输出层节点数为$n_{\text{out}}$，隐藏层节点数可设为$ \approx \sqrt{n_{\text{in}} \times n_{\text{out}}} $或使用交叉验证微调。 - **激活函数选择**：使用非线性函数增强特征学习能力。ReLU（Rectified Linear Unit）函数$f(x) = \max(0, x)$是常用选择，因为它计算高效且缓解梯度消失问题。其他如sigmoid$f(x) = \frac{1}{1 + e^{-x}}$适合概率输出，但易造成梯度饱和。 - **正则化技术**：添加惩罚项控制权重大小，防止过拟合： - L1/L2正则化：在损失函数中加入权重惩罚项。例如，L2正则化损失函数： $$J(\theta) = \frac{1}{m} \sum_{i=1}^{m} L(y_i, \hat{y}_i) + \lambda \sum \theta_j^2$$ 其中$\theta$是权重参数，$\lambda$是正则化系数（需调参）。 - Dropout：训练时随机丢弃一部分神经元（如丢弃率20%）强制网络学习鲁棒特征，验证时恢复所有神经元。 这些结构优化可通过实验迭代测试效果，例如逐步增加层数观察验证误差变化。目标函数定义为$ \theta^* = \arg\min_{\theta} J(\theta; \mathcal{D}) $，其中$ \mathcal{D} $是数据集。 --- #### 2. **调参技巧** 参数优化是BP训练的核心，关键参数包括学习率、优化器、批次大小等。反复实验和搜索策略（如网格搜索）可高效找到最优组合[^1]。 - **学习率（Learning Rate）**：学习率$\eta$ 控制梯度下降步长，过大易振荡，过小收敛慢。推荐使用自适应学习率算法： - Adam（Adaptive Moment Estimation）：结合动量和学习率衰减： $$m_t = \beta_1 m_{t-1} + (1 - \beta_1) g_t, \quad v_t = \beta_2 v_{t-1} + (1 - \beta_2) g_t^2$$ $$\theta_{t+1} = \theta_t - \eta \frac{m_t}{\sqrt{v_t} + \epsilon}$$ 其中$g_t$是当前梯度，$\beta_1=0.9$, $\beta_2=0.999$是默认参数，适合大多数场景。 - 初始学习率：一般从$10^{-3}$开始测试，并用学习率调度器（如按epoch衰减）动态调整。 - **权重初始化**：合适的初始化能加快收敛。推荐Xavier或He初始化（针对ReLU）： - Xavier初始化：权重从均匀分布$U[-\sqrt{6/(n_{\text{in}} + n_{\text{out}}}, \sqrt{6/(n_{\text{in}} + n_{\text{out}})}]$采样，确保方差恒定。 - He初始化：对ReLU激活，使用$ N(0, \sqrt{2 / n_{\text{in}}} ) $。 - **批次大小（Batch Size）和训练轮数（Epochs）**： - 批次大小：小批次（如32或64）能提高梯度估计效率，但增计算开销。大样本下使用$ \text{batch size} \propto \sqrt{m} $（$m$为样本数）以平衡内存和精度。 - 训练轮数：通常50-100轮，配合早停法防止过训练。 - **优化器选择**：SGD（随机梯度下降）简单但易陷入局部最优；Adam在非凸问题上更鲁棒。可通过网格搜索比较： ```python # 示例：在PyTorch中使用Adam优化器 import torch.optim as optim optimizer = optim.Adam(model.parameters(), lr=0.001, weight_decay=1e-4) # weight_decay为L2正则化系数 ``` 参数搜索法（如网格搜索或贝叶斯优化）能系统探索组合：固定一个参数范围，例如$\eta \in [0.001, 0.1]$, $\lambda \in [0, 0.01]$，用交叉验证评估性能（见下节）。 --- #### 3. **避免过拟合和加速收敛技巧** 过拟合是BP常见问题，表现为训练误差低但验证误差高[^1]。 - **早停法（Early Stopping）**：监控验证集损失，当连续若干轮（如10轮）无改善时停止训练。实现简单但非常有效： ```python # 示例：早停法代码片段 patience = 10 # 容忍轮数 if current_val_loss > best_val_loss: epochs_no_improve = 0 else: epochs_no_improve += 1 if epochs_no_improve >= patience: break # 提前停止 ``` - **批量归一化（Batch Normalization）**：加速收敛和稳定训练，在隐藏层添加归一化层： $$ \hat{x} = \frac{x - \mu_{\text{batch}}}{\sigma_{\text{batch}}}, \quad y = \gamma \hat{x} + \beta $$ 其中$\gamma$和$\beta$是可学习参数。 - **数据增强和正則化**：如L1/L2正则化（已提），或添加噪声到输入数据。 - **梯度相关技巧**： - 梯度裁剪（Gradient Clipping）：限制梯度值$ |g_t| \leq \text{clip\_value} $，防止爆炸。 - 批归一化和自适应优化器（如Adam）协同使用提升整体性能。 --- #### 4. **其他性能优化技巧** 除上述外，以下方法可进一步提升效率和泛化能力： - **硬件和框架优化**：使用GPU加速计算（如TensorFlow或PyTorch支持），减少训练时间。 - **损失函数选择**：针对任务定制（如分类用交叉熵$H(y,\hat{y}) = -\sum y \log(\hat{y})$）。 - **交叉验证（Cross-Validation）**：将数据分为k折，循环训练-验证，评估参数泛化性，避免单次分割偏差。 - **贝叶斯优化**：适用于高维参数搜索，比网格搜索更高效。 优化过程应反复迭代：先设定基础结构（如2隐藏层），再调参（Adam学习率），最后用验证技术评估。性能目标为最小化验证误差$ \min E_{\text{val}} $。 --- #### 总结 优化BP神经网络的关键是系统化实验：从结构调整开始（层数、激活函数），结合调参技巧（自适应学习率、初始化），并融入早停法等避免过拟合。引用的方法如交叉验证和Adam优化器[^1]是实践核心工具。记住，没有“一刀切”的参数，需基于数据集和问题定制。如果实施优化后模型仍欠拟合，可考虑增加结构复杂度；过拟合则加强正则化。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值