普通神经网络为什么不能全部初始化为0，LR为什么可以？

已于 2022-04-18 00:19:26 修改
阅读量2.8k 收藏 9
点赞数 9
分类专栏： NLP(包含深度学习) 文章标签： 自然语言处理 逻辑回归
于 2020-05-26 14:13:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_22795223/article/details/106354991
版权

当我们在训练一个神经网络的时候，参数的随机初始化是非常重要的，对于逻辑回归来说，把参数初始化为0是很ok的。但是对于一个神经网络，如果我们将权重或者是所有参数初始化为0，梯度下降算法将不会起到任何作用。

1. 为什么LR参数初始化为0是ok的？

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
交叉熵与sigmoid的连用使得反向传播时，Loss对sigmoid的输入求偏导时，直接可以得到a-y，进而对a中的w求偏导时，梯度就只和x有关了，所以w初始化为0，与梯度更新并不影响。

2. 为什么神经网络的权重或所有参数初始化为0，梯度下降不再work?

在这里插入图片描述
在这里插入图片描述
普通神经网络中，如果将权值初始化为 0 ，或者其他统一的常量，会导致后面的激活单元具有相同的值，所有的单元相同意味着它们都在计算同一特征，网络变得跟只有一个隐含层节点一样，这使得神经网络失去了学习不同特征的能力！

[机器学习] 逻辑回归—lr参数可以初始化为0, DNN参数不能初始化为0
心宝的博客
10-10 583
lr 是有激活的，DNN隐层是没有激活的，所以会导致w的梯度=0。lr 可以初始化为0, DNN不能初始化为0。
【复杂网络建模】——通过图神经网络来建模分析复杂网络
热门推荐
lingxw的博客
05-18 1万+
复杂网络是指由大量节点和连接组成的网络结构，它在许多领域中都有应用，包括社交网络、生物网络、信息网络等。复杂网络的研究主要关注网络的拓扑结构、动力学行为和功能特性。复杂网络的拓扑结构通常呈现出非常复杂的特征，例如小世界效应和无标度性。小世界效应指的是网络中的节点之间具有较短的平均路径长度，使得节点之间的距离变得更短。无标度性表示网络的度分布呈幂律分布，即只有少数节点具有非常高的连接度，而大部分节点的连接度较低。这些特性使得复杂网络在信息传播、灾难传播、社交影响等方面表现出独特的性质。
神经网络权值为什么不能初始化为零（1）
weixin_30617695的博客
05-08 846
写在前面：该篇文章的内容以及相关代码（代码在最后），都是我亲自手敲出来的，相关结论分析也是花了挺长时间做出来的，如需转载该文章，请务必先联系我，在后台留言即可。 在深度学习中，神经网络的权重初始化方式非常重要，其对模型的收敛速度和性能有着较大的影响。一个好的权值初始值有以下优点： 梯度下降的收敛速度较快 深度神经中的网络模型不易陷入梯度消失或梯度爆炸问题 该系列共两篇文章...
为什么神经网络不能全零初始化
qq_40019838的博客
04-20 1246
为什么神经网络不能全零初始化 相信所有学习过神经网络的人都知道神经网络的权重和偏置不能0初始化，但并不是所有人都知道为什么，在这里我们通过举例子+数学推导的方式解释原因。 假设要学习的神经网络结构如下所示： [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-D44zSsfI-1618852646746)(C:\Users\liule\AppData\Roaming\Typora\typora-user-images\image-20210419235405721.png)] 初始
为何不可将神经网络的参数全都初始化成0？
谁谓荼苦，其甘如荠
11-05 2132
为何不可将神经网络的参数全都初始化成0？ 证明如下： 如图所示。所以其实可以看出，当你把所有参数都初始化为0的时候，同一hidden layer的参数的更新幅度是一样的。又因为它们的初值也一样（都是0），所以导致隐藏层的参数永远一样，这就意味着你同一隐藏层每个神经元输入一样、经过同样的sigmoid激活，又得到一样的输出（设a4=a5=a），然后再乘以一样的参数。对于图中x4、x5组...
神经网络权重为什么不能初始化为0，而线性回归和LR可以？
吟游诗人——吟唱生命的不朽
03-20 4322
线性回归基本可以是LR的简化版（论证思路上），因此本文将主要探讨两个问题：1. 为什么LR可以将权重初始化为0？2. 为什么神经网络不能将权重初始化为0？ 本文参考资料：https://zhuanlan.zhihu.com/p/75879624 为什么LR可以将权重初始化为0？ 为什么神经网络不能将参数初始化为0？ 以下图为例： 情况1：w和b都初始化为0 那么由于反向传播的公式，从上图一个简单反向传播可以看出，每一轮参数更新只能从后往前更新一层的参数。这且不管，而且由于初始化参数完全相同，那么上上图
【TORCH】神经网络权重初始化和loss为inf
Never Give Up
07-06 1085
在 PyTorch 中，有多种常见的权重初始化方法，可以根据具体情况选择最适合的方法。在 PyTorch 中，如果不显式设置权重初始化，模型层会使用默认的初始化方法。输入数据的范围和分布会影响神经网络的训练过程，因此权重初始化需要与之配合，以确保模型能够有效地学习和收敛。通过合理选择权重初始化方法和对输入数据进行适当的预处理，可以确保模型更稳定和高效地训练。通过这些方法，您可以灵活地初始化神经网络的权重，从而提高模型的训练效果和收敛速度。通过这些方法，您可以确保模型的权重初始化适当，并避免损失为。
权重初始化的力量：为什么它对神经网络至关重要？
[权重初始化的力量：为什么它对神经网络至关重要？](https://i1.hdslb.com/bfs/archive/cef619efd4e54739b39c4c658f2777ee93a47aec.jpg@960w_540h_1c.webp) # 1. 神经网络与权重初始化的初探 在现代人工智能技术中...
【深度学习】神经网络参数的初始化方法
小马日记
11-02 4517
一、全0初始化 全0初始化最为简单，但不适合采用。因为如果将神经网络中参数全部初始化为0，那么每个神经元就会计算出相同的结果，在反向传播的时候也会计算出相同的梯度 ，最后导致所有权重都会有相同的更新。换句话说，如果每个权重都被初始化成相同的值，那么权重之间失去了不对称性。 二、随机初始化 我们希望权重初始化的时候能够尽量靠近0，但是不能全都等于0 ，所以可以初始化权重为一些靠近0的随机数，通过这个...
【探索AI】十三 深度学习之第2周：深度神经网络（二）参数初始化策略
weixin_48134870的博客
02-29 1265
深度学习 AI
神经网络训练时是否可以将全部参数初始化为0？
gubeiqing的博客
12-23 3257
考虑全连接的深度神经网络， 同一层中的任意神经元都是同构的， 它们拥有相同的输入和输出， 如果再将参数全部初始化为同样的值， 那么无论前向传播还是反向传播的取值都是完全相同的。 学习过程将永远无法打破这种对称性， 最终同一网络层中的各个参数仍然是相同的。 因此， 我们需要随机地初始化神经网络参数的值， 以打破这种对称性。 简单来说， 我们可以初始化参数为取值范围![在这里插入图片描述](https://img-blog.csdnimg.cn/2020122316244161.png) 的均匀分布， 其中.
神经网络中常用的权重初始化方法及为何不能全初始化为0
thequitesunshine007的博客
12-28 1946
在一个给定的区间[-r,r]内采用均匀分布来初始化参数。超参数r的设置可以按照神经元的连接数量进行自适应的调整。参数从一个固定均值(比如0)和固定方差(比如0.01)的高斯分布进行随机初始化。
神经网络初始化方法
qq_41413211的博客
04-04 404
在线性回归，logistics回归的时候，基本上都是把参数初始化为0，我们的模型也能够很好的工作。这是因为如果把w初始化0，那么每一层的神经元学到的东西都是一样的（输出是一样的），而且在bp的时候，每一层内的神经元也是相同的，因为他们的梯度相同。基于概率分布的初始化方法，它根据输入和输出神经元的数量，将权重初始化为均匀分布或正态分布的随机数。适用于ReLU激活函数的初始化方法，其基本思想是将权重初始化为正态分布的随机数。x表示上一层神经元的输出值，W表示权重，b表示偏置，z表示神经元输出。
神经网络参数初始化问题：可以初始化成0或者其他同一值么
samoyan的博客,记录技术成长~
05-17 720
答案：不可以问题：可以初始化成0或者其他同一值么？之前想着虽然原始值一样，但是导数应该不一样啊，还是会正常更新梯度的，但细想想还是错误的。
03-网络参数初始化为0引发的问题概要
qq_37972530的博客
07-12 3454
一、写在前面 这里首先对上一篇内容的做一下更正与解释，上一篇的主要内容是使用3隐层的全连接网络来训练MNIST手写字体分类模型，但是在训练的过程中发现第一层隐层被设置为0的权重参数没有进行迭代更新，...
权重初始化，为什么不能全部初始化为0
碧雨若风的博客
07-08 866
https://blog.youkuaiyun.com/qq_22795223/article/details/106354991?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase
神经网络的参数初始化
zhuguiqin1的专栏
05-06 2295
注： 本文是学习吴恩达老师机器学习公开课的学习笔记。1. 对于神经网络fminunc函数，我们需要初始化神经网络的initialTheta的参数。对于逻辑回归来说，我们可以全部初始化为0，但是对于神经网络来说将initialTheta全部初始化为0是不可以的。2.为什么全部初始化成0是不可以的呢？如果所有参数初始化成0，那么隐藏层的每个节点的输出都是相同的，而且每个参数对成本函数的偏导数也是相同的...
【DL】初始化和调整Lr，计算网络运行时间
张林克的博客
11-20 415
trick
python构建bp神经网络
最新发布
03-15
<think>好的，用户想学习如何用Python构建BP神经网络，需要方法和示例代码。首先，我需要回忆BP神经网络的基本原理，确保自己理解正确。根据引用[1]，BP神经网络的基本原理包括输入层、隐藏层、输出层，以及前向传播和误差反向传播的过程。引用[3]提到BP算法由Rumelhart和McCelland在1985年提出，所以得确认这个历史背景是否需要在回答中提及。 接下来，用户可能需要步骤化的指导。我应该分步骤讲解：网络结构设计、参数初始化、前向传播、损失计算、反向传播、参数更新，然后给出代码示例。同时，用户可能对激活函数的选择有疑问，比如为什么用Sigmoid，是否需要其他函数如ReLU，但根据引用[3]中的图示，可能示例中使用的是Sigmoid函数，所以保持一致性。 然后，示例代码部分需要简洁且可运行。需要导入必要的库，比如numpy。然后定义神经网络类，包含初始化、前向传播、训练等方法。要注意代码的注释，确保用户能理解每一部分的功能。例如，在初始化权重时，可能需要使用随机数，并解释为什么需要小的初始值。 用户可能遇到的问题包括梯度消失或爆炸，学习率设置，迭代次数的影响，这些可以在注意事项里提到。同时，引用[2]指出BP神经网络在深度学习中的重要性，可以提到它在图像处理等领域的应用，增强示例的相关性。 检查是否符合用户的要求：代码是否使用Python，是否包含训练过程，是否使用numpy库进行矩阵运算。需要确保代码没有语法错误，比如缩进正确，函数定义正确。另外，是否需要数据预处理的部分？可能用户需要，但示例可以简化，使用随机数据演示流程。 最后，生成相关问题，引导用户深入学习。例如，如何选择隐藏层节点数，激活函数的影响，梯度下降的优化方法，正则化的应用等。这些问题能帮助用户进一步探索。</think>### Python实现BP神经网络的方法与示例代码 #### 一、实现步骤 1. **网络结构设计** - 输入层节点数由特征维度决定（例如MNIST图像为784） - 隐藏层常用1-3层，每层节点数常取$2^n$（如64、128） - 输出层节点数由分类类别数决定（例如10分类任务对应10节点） 2. **参数初始化** - 权重矩阵使用$W \sim \mathcal{N}(0,0.01)$初始化 - 偏置向量初始化为0或微小随机值 - 代码示例： ```python self.W1 = np.random.randn(input_size, hidden_size) * 0.01 self.b1 = np.zeros((1, hidden_size)) ``` 3. **前向传播** - 计算隐藏层输出：$Z_1 = XW_1 + b_1$ - 应用激活函数：$A_1 = \sigma(Z_1)$（$\sigma$为sigmoid函数） - 最终输出：$\hat{y} = \text{softmax}(A_1W_2 + b_2)$ 4. **损失计算** - 交叉熵损失函数： $$L = -\frac{1}{N}\sum_{i=1}^N \sum_{j=1}^C y_j^{(i)}\log(\hat{y}_j^{(i)})$$ 5. **反向传播** - 输出层梯度：$\frac{\partial L}{\partial W_2} = A_1^T(\hat{y} - y)$ - 隐藏层梯度：$\frac{\partial L}{\partial W_1} = X^T[(\hat{y}-y)W_2^T \odot \sigma'(Z_1)]$ 6. **参数更新** - 使用梯度下降法： $$W = W - \eta \frac{\partial L}{\partial W}$$ （$\eta$为学习率） #### 二、完整代码示例 ```python import numpy as np class BPNN: def __init__(self, input_size, hidden_size, output_size): self.W1 = np.random.randn(input_size, hidden_size) * 0.01 self.b1 = np.zeros((1, hidden_size)) self.W2 = np.random.randn(hidden_size, output_size) * 0.01 self.b2 = np.zeros((1, output_size)) def sigmoid(self, x): return 1 / (1 + np.exp(-x)) def softmax(self, x): exps = np.exp(x - np.max(x)) return exps / np.sum(exps, axis=1, keepdims=True) def forward(self, X): self.z1 = np.dot(X, self.W1) + self.b1 self.a1 = self.sigmoid(self.z1) self.z2 = np.dot(self.a1, self.W2) + self.b2 return self.softmax(self.z2) def train(self, X, y, epochs=1000, lr=0.1): for _ in range(epochs): # 前向传播 y_pred = self.forward(X) # 反向传播 delta3 = y_pred - y dW2 = np.dot(self.a1.T, delta3) db2 = np.sum(delta3, axis=0, keepdims=True) delta2 = np.dot(delta3, self.W2.T) * self.a1 * (1 - self.a1) dW1 = np.dot(X.T, delta2) db1 = np.sum(delta2, axis=0) # 参数更新 self.W2 -= lr * dW2 self.b2 -= lr * db2 self.W1 -= lr * dW1 self.b1 -= lr * db1 # 示例使用 X = np.random.randn(100, 784) # 100个样本，784维特征 y = np.eye(10)[np.random.randint(0,10,100)] # one-hot编码 model = BPNN(784, 64, 10) model.train(X, y, epochs=1000, lr=0.1) ``` #### 三、关键注意事项 1. 数据需要标准化处理（如归一化到[0,1]区间） 2. 学习率设置建议从0.1开始逐步衰减[^2] 3. 迭代次数可通过验证集早停法确定 4. 建议加入L2正则化防止过拟合： ```python dW2 += reg_lambda * self.W2 # 在梯度计算中加入正则项 ``` #### 四、性能优化建议 1. 使用mini-batch训练加速收敛 2. 采用ReLU激活函数改善梯度流动 3. 添加动量项优化梯度下降过程 4. 使用交叉验证选择最佳超参数
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Xu_Wave

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值