Weight Initialization in Neural Networks: A Journey From the Basics to Kaiming

最新推荐文章于 2022-10-18 23:34:32 发布
最新推荐文章于 2022-10-18 23:34:32 发布
阅读量364 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 概念理解 神经网络 AI程序员 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_41697507/article/details/89368559
本文探讨了神经网络权重初始化的重要性，以防止激活输出在正向传播中爆炸或消失。通过实验，展示了初始化过大或过小的权重对网络的影响。文章介绍了Xavier和Kaiming初始化方法，解释了这些方法如何适应不同类型的激活函数，特别是ReLU，以保持层间的梯度稳定。Kaiming初始化在现代深度学习网络中尤其适用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

我想邀请您加入我的探索，通过不同的方法初始化神经网络中的图层权重。 通过各种简短的实验和思想练习，我们将逐步发现为什么在训练深度神经网络时足够的重量初始化非常重要。 在此过程中，我们将介绍研究人员多年来提出的各种方法，并最终深入研究最适合您最有可能使用的当代网络架构的方法。

接下来的例子来自我自己重新实现的一套笔记本，Jeremy Howard在最新版本的fast.ai的深度学习第二部分课程中介绍了这一课程，该课程目前于2019年春天在USF的数据研究所举行。

Why Initialize Weights

权重初始化的目的是防止层激活输出在正向通过深度神经网络的过程中爆炸或消失。如果发生任何一种情况，损失梯度将太大或太小而无法有效地向后流动，并且如果网络甚至能够这样做，则网络将花费更长时间来收敛。

矩阵乘法是神经网络的基本数学运算。在具有多个层的深度神经网络中，一个前向通道仅需要在每个层，在该层的输入和权重矩阵之间执行连续的矩阵乘法。在一层的这种乘法的乘积成为后续层的输入，依此类推。

对于一个说明这一点的快速和肮脏的例子，让我们假设我们有一个包含一些网络输入的向量x。这是训练神经网络的标准做法，以确保我们的输入值被缩放，使得它们落入这样的正态分布，平均值为0，标准差为1。

在这里插入图片描述
让我们假设我们有一个没有激活的简单的100层网络，并且每个层都有一个包含图层权重的矩阵a。 为了完成单个前向传递，

了解本专栏 订阅专栏 解锁全文 超级会员免费看
CUDA initialization: The NVIDIA driver on your system is too old解决方案
weixin_43178406的博客
10-16 8万+
本文主要介绍了CUDA initialization: The NVIDIA driver on your system is too old解决方案，希望能对学习大模型的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案 2.1 解决方案一 2.2 解决方案二
Deep Convolutional Neural Networks for Image Classification: A Comprehensive Review(论文解读)
Enjoy_endless
02-26 3841
这是一篇关于图像处理(分类方向)的卷积神经网络发展的一个综述，聚焦于CNN在图像分类方向的应用，文章分析了：（1）他们早期的成功，（2）他们在深度学习复兴中的角色，（3）选择了象征性的工作成果，以及（4）通过回顾300多种出版物的贡献和挑战所带来的改进。 我们还介绍了他们目前的一些趋势和仍存在的挑战。 本综述面向那些想要了解CNN技术和体系结构发展的人，从他们的前辈到现代最先进的深度学习系统，特别...
[深度学习论文笔记][Weight Initialization] 参数初始化部分论文导读
Hao_Zhang_Vision的博客
09-22 1861
Training a CNN is hard because • Large number of parameters requires heavy computation. • The learning objective is non-convex, and has many poor local minima. • Deep network has vanishing/explodin
Weight Initialization in Neural Networks: A Journey From the Basics to Kaiming(上)
Passerby的博客
10-17 234
原文链接：点击前往。 本文通过简短的实验说明为什么适当的初始化权值在深度神经网络训练中如此重要。 分别用Tensorflow2.0和Pytorch实现。 Why Initialize Weight 权重初始化的目的是防止层激活输出在深度神经网络的正向传递过程中爆炸或消失。如果发生以上任何一种情况，损失梯度不是太大就是太小，无法有利地反向传播，如果发生了以上的情况，网络收敛则需要更长的时间。 矩阵乘...
network中的weight initialization
Deep Learning and NLP Farm
12-14 679
因为自建的网络很深导致网络不能很好的训练，于是寻找解决方法， （１）好的初始参数 在ReLU activation function中推荐使用Xavier Initialization的变种，暂且称之为He Initialization（２）batch normalization博文还没有完善，等我有空 https://www.leiphone.com/news/201703/3qMp45aQ
进一步聊聊weight initialization
weixin_34248258的博客
12-22 237
深度学习模型训练的过程本质是对weight（即参数W）进行更新，这需要每个参数有相应的初始值。 有人可能会说：“参数初始化有什么难点？直接将所有weight初始化为0或者初始化为随机数！” 对一些简单的机器学习模型，或当optimization function是convex function时，这些简单的方法确实有效。 然而对于深度学习而言，非线性函数被疯狂叠加，这便是一个非凸函数，如何选择参数...
weight initialization
yanshuai_tek的博客
07-08 381
https://www.leiphone.com/news/201703/3qMp45aQtbxTdzmK.html http://zozoz.github.io/2017/03/18/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E6%9D%83%E9%87%8D%E5%88%9D%E5%A7%8B%E5%8C%96/
基本模型 PINNs : Physics Informed Neural Networks
热门推荐
waitingwinter的博客
01-14 3万+
系列最开始当然要提到很经典的文章 —— Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations 。 这篇文章是布朗大学的助理教授Maziar Rais...
Compositional Convolutional Neural Networks 论文复现
hb_learing的博客
03-18 1567
Title：Compositional Convolutional Neural Networks:A Deep Architecture with Innate Robustness to Partial Occlusion Writers：Adam Kortylewski Ju He Qing Liu Alan Y uille Conference：CVPR 2020 作者单位：Johns Hopkins University 论文地址七步1.装好对应的环境2.python Code/demo.py3.
UserWarning: CUDA initialization: Unexpected error from cudaGetDeviceCount()【已解决】
围炉夜敲的博客
10-18 1万+
UserWarning: CUDA initialization: Unexpected error from cudaGetDeviceCount()【已解决】
neural-networks-and-deep-learning weight_initialization.py
Zhaohui1995_Yang的专栏
07-21 434
weight_initialization主要是通过不同的网络权重的初始化方式来进行网络的测试。会发现，使用默认方式，也就是方差相对较小的方式更能够有比较好的结果。看两者的曲线图很容易就能够看出。第一个函数就是训练网络，然后存储，第二个函数就是画出accuracy的曲线图。"""weight_initialization ~~~~~~~~~~~~~~~~~~~~~~~~This program s
DL 中的weight initialization
Do not mess it up
10-03 406
1. 不能全部初始化为0，这样所有的神经元数据更新都是一样的 2. 那初始化为Small random numbers呢？比如 当网络变深后也会有问题，如果初始的时候W都很小，那么随着深度的增大，每层的layer的output会越来越小， 而因为前向传播是np.sum(W*X)，对权重W的导数X*dW有X这一乘积项，因为X很小，这就导致W的权重更新慢（梯度弥散）， 而如果把
浅谈深度学习初始化参数（weight initialization）
ZHE
11-01 6246
文章目录初始化为0的可行性？随机初始化Xavier initializationHe initializationBatch Normalization Layer参考资料 深度学习模型训练过程的本质是对weight进行更新，这需要每个参数有相应的初始值。有人可能会说：“参数初始化有什么难点？直接将所有weight初始化为0或者初始化为随机数！” 对一些简单的机器学习模型，或当optimizat...
UFLDL initialize_weights.m
Zhaohui1995_Yang的专栏
08-08 869
终于知道Xavier初始化是什么东西了。。。 Glorot X, Bengio Y. Understanding the difficulty of training deep feedforward neural networks[C]//Aistats. 2010, 9: 249-256.其实就是按照均值为0，随机方差为 6√(prevsize+cursize)√ \sqrt6 \over \
参数初始化Weight Initialization
LK007CX的博客
11-29 402
参数初始化Weight Initialization 全零初始化：无法进行模型训练 随机初始化：使用小的随机数（高斯分布，零均值，1e-2标准差）初始化 小网络可以，对于深度网络有问题。网络输出数据分布的方差会随着神经元的个数而改变。 Xavier初始化 为保证前向传播和反向传播时每一层的方差一致。根据每层的输入个数和输出个数来决定参数随机初始化的分布范围。 高斯分布的权重初始化为：高斯分布的随机数乘上 2nin+nout\frac{\sqrt{2}}{\sqrt{n_{in}+n_{out}}}nin
Batch Normalization & Weight Initialization.
programmingfool5的博客
09-03 520
Batch Normalization 因为在深度神经网络中随着训练得进行，每一个隐层的参数不断的发生变化导致每一层的激活函数的输入发生改变，这与机器学习领域的假设：训练数据和测试数据的同分布是不符合的。所以会造成以下的问题： - （如果不scaling）激活输入值分布的偏移，导致数据向线性函数的取值区间的上下线两端靠近，导致梯度消失/爆炸的问题，这就是问什么会训练速度降低的原因。（...
[深度学习论文笔记][Weight Initialization] Random walk initialization for training very deep feedforward netw
Hao_Zhang_Vision的博客
09-20 1218
Sussillo, David, and L. F. Abbott. “Random walk initialization for training very deep feedforward networks.” arXiv preprint arXiv:1412.6558 (2014). [Citations: 3]. 1.3.1 Motivation [Motivation]
谷歌工程师：聊一聊深度学习的weight initialization
人工智能爱好者俱乐部
01-20 496
TLDR (or the take-away)Weight Initialization matters!!! 深度学习中的weight initialization对模型收敛速度和模型质量有重要影响!在ReLU activation function中推荐使用Xavier Initialization的变种，暂且称之为He Initialization：使用Batch Normalization
神经网络中的权重初始化问题weight initialization problem in FNN
cheeercherrr的博客
11-10 651
本篇文章研究的是全连接的多层神经网络中的权重初始化问题，以8-20-30-1的MLP为实验对象。神经网络是一种要素间关联性极强的结构，从输入数据，输入数据的scaling，输入数据划分的batch，到每一隐藏层初始化的权重，节点个数，激活函数的选择，再到层数，最终输出函数的选择，和输出节点个数，都是彼此影响的，其中，权重初始化，与激活函数的选择和输入数据存在较强的关联性，不同的权重初始化可能造成不同的问题的产生。 以下的bp算法指的是standard bp算法 I-9: D. Erdogmus, O. Fo
historyform.cpp:43:13: error: cannot jump from switch statement to this case label historyform.cpp:41:24: note: jump bypasses variable initialization historyform.cpp:39:24: note: jump bypasses variable initialization historyform.cpp:37:24: note: jump bypasses variable initialization historyform.cpp:36:21: note: jump bypasses variable initialization
最新发布
03-29
这个错误信息表明，在 `switch` 语句中存在一些跳转逻辑问题，导致某些变量的初始化被绕过（bypassed）。这通常是由于在 `case` 标签之间遗漏了必要的 `break;` 或者尝试直接从一个未完成的部分跳转到另一个部分引起的。 ### 原因分析 在 C++ 中，如果一个局部变量是在某个特定分支内声明并初始化的，并且有路径可以直接跳过该变量的初始化而进入作用域，则会导致编译器报错。这是因为未经初始化的变量可能导致未定义的行为。 例如： ```cpp switch (value) { case 1: int x = 42; // 初始化了一个变量x break; case 2: // 这里试图跳过x的初始化却仍然进入了其作用域 std::cout << x; // 编译失败：无法跳过x的初始化就访问它 break; } ``` 在这个例子中，当程序执行 `case 2:` 跳过了 `case 1:` 内部的 `int x = 42;` 定义和初始化过程，但是后续代码又引用到了 `x` ，这是不允许的。 ### 解决方案 #### 方案一: 确保每个 case 分支都包含完整的初始化流程 你可以保证所有相关的变量都在每一个需要用到它们的地方单独地重新定义及初始化。例如： ```cpp switch (value) { case 1: int x = 42; process(x); break; case 2: int y = 99; // 对应y做同样的操作，而不是复用x another_process(y); break; } ``` #### 方案二: 将变量移到 switch 外面进行统一管理 把那些跨越多个分支使用的变量提前放到 `switch` 结构外部预先声明好，避免重复定义的问题： ```cpp int data; switch (value) { case 1: data = initializeForCaseOne(); break; case 2: data = initializeForCaseTwo(); break; default: data = defaultValue(); } // 同样可以在这里安全使用data变量 process(data); ``` #### 方案三: 添加适当默认值设定或者检查条件 通过增加额外的判断机制确保不会发生非法状态下的越界访问。 ```cpp if(conditionMet){ int localData = specificInitialization(); }else{ int fallbackData = generalInitialization(); } // 针对每种情况分别独立处理... ``` --- ### 总结 解决此类问题是需要仔细考虑各条控制流下数据的有效性和完整性。可以通过调整代码结构、合理安排变量位置以及添加足够的保护措施来消除这种隐患。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Adam婷

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值