DL 中的weight initialization

最新推荐文章于 2023-09-04 10:20:00 发布
最新推荐文章于 2023-09-04 10:20:00 发布
阅读量406 收藏
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zjucor/article/details/78154154
本文探讨了神经网络中权重初始化的重要性，分析了全零初始化及小随机数初始化的问题，并讨论了这些做法在网络加深时可能导致的梯度消失或爆炸现象。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. 不能全部初始化为0，这样所有的神经元数据更新都是一样的

2. 那初始化为Small random numbers呢？比如


当网络变深后也会有问题，如果初始的时候W都很小，那么随着深度的增大，每层的layer的output会越来越小，


而因为前向传播是np.sum(W*X)，对权重W的导数X*dW有X这一乘积项，因为X很小，这就导致W的权重更新慢（梯度弥散），

而如果把初始权重都设置的比较大的话，使得会使得大多数的神经元处于饱和状态，


dW很小，权重更新也很缓慢（感觉这就是之前mnist不归一化train不下去的原因）


已经有paper研究到底初始化到什么范围内最合适



对于ReLU



http://www.jianshu.com/p/03009cfdf733

https://study.163.com/course/courseLearn.htm?courseId=1003223001#/learn/video?lessonId=1003846134&courseId=1003223001

Weight Initialization in Neural Networks: A Journey From the Basics to Kaiming
weixin_41697507的博客
04-18 364
我想邀请您加入我的探索，通过不同的方法初始化神经网络中的图层权重。 通过各种简短的实验和思想练习，我们将逐步发现为什么在训练深度神经网络时足够的重量初始化非常重要。 在此过程中，我们将介绍研究人员多年来提出的各种方法，并最终深入研究最适合您最有可能使用的当代网络架构的方法。 接下来的例子来自我自己重新实现的一套笔记本，Jeremy Howard在最新版本的fast.ai的深度学习第二部分课程中介绍...
ML/DL模型调参：深度学习神经网络超参数调优简介、自适应调参、基于网格搜索(逐个调优，如batch_size/epoch/lr/优化器/激活函数/Dropout 正则化/神经元个数等)
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
03-13 3978
​ ML/DL模型调参：深度学习神经网络超参数调优简介、自适应调参、基于网格搜索(逐个调优，如batch_size/epoch/lr/优化器/激活函数/Dropout 正则化/神经元个数等) 目录 神经网络的参数调优 可视化理解神经网络调参：层数、batch大小，学习率+激活函数+正则化 自适应调参 对深度学习模型的超参数采用网格搜索 相关文章 DL之模型调参：深度学习算法模型优化参数之对深度学习模型的超参数采用网格搜索进行模型调优(建议收藏) DL之模型
进一步聊聊weight initialization
weixin_34248258的博客
12-22 235
深度学习模型训练的过程本质是对weight（即参数W）进行更新，这需要每个参数有相应的初始值。 有人可能会说：“参数初始化有什么难点？直接将所有weight初始化为0或者初始化为随机数！” 对一些简单的机器学习模型，或当optimization function是convex function时，这些简单的方法确实有效。 然而对于深度学习而言，非线性函数被疯狂叠加，这便是一个非凸函数，如何选择参数...
weight initialization
yanshuai_tek的博客
07-08 381
https://www.leiphone.com/news/201703/3qMp45aQtbxTdzmK.html http://zozoz.github.io/2017/03/18/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E6%9D%83%E9%87%8D%E5%88%9D%E5%A7%8B%E5%8C%96/
network中的weight initialization
Deep Learning and NLP Farm
12-14 679
因为自建的网络很深导致网络不能很好的训练，于是寻找解决方法， （１）好的初始参数 在ReLU activation function中推荐使用Xavier Initialization的变种，暂且称之为He Initialization（２）batch normalization博文还没有完善，等我有空 https://www.leiphone.com/news/201703/3qMp45aQ
浅谈深度学习初始化参数（weight initialization）
ZHE
11-01 6243
文章目录初始化为0的可行性？随机初始化Xavier initializationHe initializationBatch Normalization Layer参考资料 深度学习模型训练过程的本质是对weight进行更新，这需要每个参数有相应的初始值。有人可能会说：“参数初始化有什么难点？直接将所有weight初始化为0或者初始化为随机数！” 对一些简单的机器学习模型，或当optimizat...
DL4J源码阅读（六）：LSTM信号前传处理流程
weilan06的博客
01-24 1456
1.1 GravesLSTM参数个数公式         GravesLSTMParamInitializer中 public int numParams(Layer l)方法的参数个数计算公式如下：         int nParams = nLast * (4 * nL) //"input" weights               + nL * (4 * nL + 3) //rec
DL之CNN可视化：卷积神经网络理解的简介(相关论文/CNN各层级结构输出特征信息可视化)、代码实现理解
热门推荐
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
08-07 1万+
​ DL之CNN可视化：卷积神经网络理解的简介(相关论文/CNN各层级结构输出特征信息可视化)、代码实现理解 目录 卷积神经网络理解的简介 CNN可视化代码实战理解 卷积神经网络理解的简介 1、CNN各层卷积所干的事(各个层级结构的结果可视化) (1)、卷积操作、ReLU操作、池化操作可视化 红色，绿色 (2)、ConV1、ConV2、ConV3等层卷积后的结果 (3)、转置卷积可视化 2、人脸识别任务案例：线段→人脸五官→人脸轮廓
BP神经网络算法在深度学习中的实现研究
2. **初始化权重（Weight Initialization）**： - 权重的初始化对网络的训练速度和性能有很大影响，需要避免初始化过大或过小的问题。 - 常用的初始化方法包括随机初始化、Xavier初始化和He初始化等。 3. **前向...
机器学习(Machine Learning, ML)是人工智能领域的一个重要分支，也是一种基于数据构建的分析模型，旨在从数据中提取有价值的信息，并利用这些信息使计算机系统得以自动化
最新发布
AI天才研究院
09-04 2084
作者：禅与计算机程序设计艺术 1.简介 1.1 为什么要写这个系列的博客文章？ 本系列博客文章主要面向技术人员，偏重于深度学习相关知识的分享，同时也提供一些经典的机器学习算法的理论基础，帮助读者更好的理解这些算法的工作原理和应用场景。
UFLDL initialize_weights.m
Zhaohui1995_Yang的专栏
08-08 869
终于知道Xavier初始化是什么东西了。。。 Glorot X, Bengio Y. Understanding the difficulty of training deep feedforward neural networks[C]//Aistats. 2010, 9: 249-256.其实就是按照均值为0，随机方差为 6√(prevsize+cursize)√ \sqrt6 \over \
参数初始化Weight Initialization
LK007CX的博客
11-29 393
参数初始化Weight Initialization 全零初始化：无法进行模型训练 随机初始化：使用小的随机数（高斯分布，零均值，1e-2标准差）初始化 小网络可以，对于深度网络有问题。网络输出数据分布的方差会随着神经元的个数而改变。 Xavier初始化 为保证前向传播和反向传播时每一层的方差一致。根据每层的输入个数和输出个数来决定参数随机初始化的分布范围。 高斯分布的权重初始化为：高斯分布的随机数乘上 2nin+nout\frac{\sqrt{2}}{\sqrt{n_{in}+n_{out}}}nin
Batch Normalization & Weight Initialization.
programmingfool5的博客
09-03 520
Batch Normalization 因为在深度神经网络中随着训练得进行，每一个隐层的参数不断的发生变化导致每一层的激活函数的输入发生改变，这与机器学习领域的假设：训练数据和测试数据的同分布是不符合的。所以会造成以下的问题： - （如果不scaling）激活输入值分布的偏移，导致数据向线性函数的取值区间的上下线两端靠近，导致梯度消失/爆炸的问题，这就是问什么会训练速度降低的原因。（...
[深度学习论文笔记][Weight Initialization] 参数初始化部分论文导读
Hao_Zhang_Vision的博客
09-22 1861
Training a CNN is hard because • Large number of parameters requires heavy computation. • The learning objective is non-convex, and has many poor local minima. • Deep network has vanishing/explodin
[深度学习论文笔记][Weight Initialization] Random walk initialization for training very deep feedforward netw
Hao_Zhang_Vision的博客
09-20 1217
Sussillo, David, and L. F. Abbott. “Random walk initialization for training very deep feedforward networks.” arXiv preprint arXiv:1412.6558 (2014). [Citations: 3]. 1.3.1 Motivation [Motivation]
谷歌工程师：聊一聊深度学习的weight initialization
人工智能爱好者俱乐部
01-20 495
TLDR (or the take-away)Weight Initialization matters!!! 深度学习中的weight initialization对模型收敛速度和模型质量有重要影响!在ReLU activation function中推荐使用Xavier Initialization的变种，暂且称之为He Initialization：使用Batch Normalization
神经网络中的权重初始化问题weight initialization problem in FNN
cheeercherrr的博客
11-10 649
本篇文章研究的是全连接的多层神经网络中的权重初始化问题，以8-20-30-1的MLP为实验对象。神经网络是一种要素间关联性极强的结构，从输入数据，输入数据的scaling，输入数据划分的batch，到每一隐藏层初始化的权重，节点个数，激活函数的选择，再到层数，最终输出函数的选择，和输出节点个数，都是彼此影响的，其中，权重初始化，与激活函数的选择和输入数据存在较强的关联性，不同的权重初始化可能造成不同的问题的产生。 以下的bp算法指的是standard bp算法 I-9: D. Erdogmus, O. Fo
为什么需要权重初始化（weight initialization）？常见的权重初始化方式有哪些？启发式权重初始化的好处？
data+scenario+science+insight
07-02 625
为什么需要权重初始化（weight initialization）？常见的权重初始化方式有哪些？启发式权重初始化的好处？ 目录 为什么需要权重初始化（weight initialization）？常见的权重初始化方式有哪些？启发式权重初始化的好处？ 为什么需要权重初始化？ 常用的权重初始化方式有？ 启发式权重初始化 使用这些启发式的好处 为什么需要权重初始化？ 权重初始化的主要目标是防止层激活函数输出在前向传播的过程中发生梯度爆炸或者梯度消失。如果出现这两个问题中的任何
matlab中的initialization函数如何使用
04-15
initialization函数是matlab中用来进行初始化操作的函数，可以在程序运行之前对变量、数据...在这个例子中，初始化了一个3x3的随机矩阵A，可以在程序运行之前进行调用，使得A变量被初始化为一个符合要求的随机矩阵。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值