总结：Different Methods for Weight Initialization in Deep Learning

最新推荐文章于 2025-10-08 16:53:04 发布

原创

最新推荐文章于 2025-10-08 16:53:04 发布 · 置顶 · 1.2w 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #deep learning #权重 #初始化 #MSRA

本文总结了深度学习中权重初始化的三种方法：高斯初始化、Xavier初始化和MSRA初始化。高斯初始化是最常见的方法，Xavier初始化考虑了输入和输出节点数，而MSRA初始化针对极深的ReLU模型，有助于从头开始训练。

这里总结了三种权重的初始化方法，前两种比较常见，后一种是最新的。为了表达顺畅（当时写给一个歪果仁看的），用了英文，欢迎补充和指正。

尊重原创，转载请注明：http://blog.youkuaiyun.com/tangwei2014

1. Gaussian

Weights are randomly drawn from Gaussian distributions with fixed mean (e.g., 0) and fixed standard deviation (e.g., 0.01).

This is the most common initialization method in deep learning.

2. Xavie

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

tangwei2014

关注关注

0
点赞
踩
9

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

深入理解卷积神经网络的参数初始化、过拟合解决方案及数据增强技术

C17875478487的博客

03-14

2189

本文探讨了卷积神经网络的参数初始化、过拟合问题及其解决策略，和数据增强技术。强调了使用Xavier和Kaiming方法进行权重初始化的重要性，讨论了过拟合的成因以及通过数据增强提高模型泛化能力的方法。

CS231n笔记4-Data Preprocessing, Weights Initialization与Batch Normalization

u012767526的专栏

05-14

6380

Data Preprocessing, Weights Initialization与Batch NormalizationData Preprocessing Weights Initialization与Batch Normalization 数据预处理Data Preprocessing 权重初始化Weights Initialization 让权重初始化为0 0方差1e-2标准差 0方差1标

2 条评论您还未登录，请先登录后发表或查看评论

卷积神经网络初始化方法总结

weixin_43951995的博客

08-20

8361

卷积神经网络初始化方法总结一、前言二、预训练初始化三、全0初始化四、固定值初始化1.BN层的初始化2.LSTM3.bias初始化五、固定方差的参数初始化1.高斯分布初始化2.均匀分布初始化3.固定方差初始化的缺点六.方差缩放的参数初始化1.Xavier初始化2.He初始化七、BN层可以降低对初始化的要求八、参考一、前言在 CNN 模型的训练过程中，权值初始化的恰当与否对结果有较大影响，不合适的初始化参数可能使得 CNN 训练时收敛缓慢或者无法收敛。在深度神经网络中，随着层数的增多，在反向传播的

Xavier初始化

最新发布

weixin_51647139的博客

10-08

1456

结合核心公式：12(b−a)2=nin+nout2⟹b=−a=nin+nout6。根据方差的性质（独立变量和的方差等于方差之和）：Var(z)=∑i=1ninVar(wixi)=nin⋅Var(w)⋅Var(x)反向传播时，梯度 ∂xi∂L（损失对输入 xi 的梯度）与权重的转置相关：∂xi∂L=∑j=1noutwi⋅∂zj∂L。因此，权重的取值范围为：w∼U(−nin+nout6, nin+nout6)。

卷积神经网络（三）：权值初始化方法之Xavier与MSRA

Fire_Light_的博客

03-14

9761

基础知识首先介绍一下Xavier等初始化方法比直接用高斯分布进行初始化W的优势所在：一般的神经网络在前向传播时神经元输出值的方差会不断增大,而使用Xavier等方法理论上可以保证每层神经元输入输出方差一致。这里先介绍一个方差相乘的公式，以便理解Xavier： Xavier 现在我们先来分析一层卷积：其中ni表示输入个数。根据概率统计知识我们有下面的方差公式：...

深度学总结：weight_initialization

weixin_40759186的博客

02-20

269

weight_initialization Occam’s razor：简单一刀切设置0或者1 General rule for setting weights The general rule for setting the weights in a neural network is to set them to be close to zero without being too small...

[文献阅读] Sparsity in Deep Learning: Pruning and growth for efficient inference and training in NN

jokerxsy的博客

06-29

2215

论文地址：https://arxiv.org/abs/2102.00554sparse model的精确度和计算性能随稀疏程度的变化，分别如下图的绿\红所示。实现模型稀疏化需要存储的数据格式，如下面的bitmap就是存储一个模型参数个数大小的0/1矩阵，作为mask。前三种如下图所示。略略模型的稀疏模式视输入样本而定略computers和brains的不同：略《Soft Threshold Weight Reparameterization for Learnable Sparsity》......

深度学习的集成方法——Ensemble Methods for Deep Learning Neural Networks

weixin_30498807的博客

12-19

1129

本文主要参考Ensemble Methods for Deep Learning Neural Networks一文。 1. 前言神经网络具有很高的方差，不易复现出结果，而且模型的结果对初始化参数异常敏感。使用集成模型可以有效降低神经网络的高方差（variance）。 2. 使用集成模型降低方差训练多个模型，并将预测结果结合到一起，能够降低方差。多模型集成能起到作用的前提是，每个模...

CV系列经典论文(1) -- ResNet: Deep Residual Learning for Image Recognition

Levi_Ackerman__的博客

12-27

2741

Abstract Deeper neural networks are more difficult to train. We present a residual learning framework to ease the training of networks that are substantially deeper than those used previously. We explicitly reformulate the layers as learning residual

【论文翻译】Deep Residual Learning for Image Recognition

风信子的博客

08-02

4327

【论文翻译】：Deep Residual Learning for Image Recognition 【论文来源】：Deep Residual Learning for Image Recognition 【翻译人】：BDML@CQUT实验室 Deep Residual Learning for Image Recognition 基于深度残差学习的图像识别 2016 IEEE Conference on Computer Vision and Pattern Recognition 图像识别的深度残差学

卷积神经网络中的参数初始化

zhong_haoxuan的博客

07-20

6246

卷积层中常用初始化方法分两种： 1.高斯初始化：从均值为0，方差为1的高斯分布中采样，作为初始权值；PyTorch中的相关函数如下： torch.nn.init.normal_(tensor, mean=0, std=1) 2.Xavier初始化：参数由0均值，标准差为sqrt(2 / (fan_in + fan_out))的正态分布产生，其中fan_in和fan_out是分别权值张量的输入...

TensorFlow中权重的随机初始化的方法

09-20

本篇文章主要介绍了TensorFlow中权重的随机初始化的方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧

tf 中权重初始化方法

liguandong

01-22

6891

最常见的两类方法就是 msra 的 he_initialization 和 Xavier initialization 。 def conv_var(kernel_size, in_channels, out_channels, init_method, name): shape = [kernel_size[0], kernel_size[1], in_channels, out_c...

卷积神经网络(CNN)基础介绍

热门推荐

网络资源是无限的

01-16

37万+

卷积神经网络(CNN)基础介绍

权值初始化——高斯初始化，Xavier初始化，MSRA初始化，He初始化

CVer

09-11

7381

在训练神经网络之前，必须对其全值和偏置进行初始化。常用的初始化方法有四种，分别是高斯初始化、Xavier初始化和MSRA初始化。它们一般都把偏置初始化为0，但对权值进行随机初始化。其中，高斯初始化比较容易理解，就是根据某个高斯分布来初始化权值，但均值通常选0，方差需要按经验人工选择。下面对Xavier和MSRA以及He做进一步的说明。 Xavier的基本思想是保持信息在神经网络中流动过程的方差不...

神经网络中权值初始化的方法

竹馨shine的专栏

07-27

1万+

权值初始化的方法主要有：常量初始化（constant）、高斯分布初始化（gaussian）、positive_unitball初始化、均匀分布初始化（uniform）、xavier初始化、msra初始化、双线性初始化（bilinear）常量初始化（constant）把权值或着偏置初始化为一个常数，具体是什么常数，可以自己定义高斯分布

从零实现一个简单卷积神经网络

Lucky_Q的博客

02-07

1万+

对于卷积公式可能有的人知道，可能有的人不知道，或者也仅仅只是知道而不理解。但是不管你知不知道这个公式的意义，都不影响你自己去实现一个卷积。他具体的数学意义，我先不讲，因为有很多人讲的都比我清楚透彻。而我要告诉你的，则是再卷积神经网络里面的卷积操作是如何实现的提到卷积神经网络，听到的最多的应该就是卷积，激活，池化这三个操作。就拿VGG16这个经典网络模型来说，其实就是通过卷积+激活+池化这三种操作堆叠而成的。那么他们具体是什么东西，又是如何实现的，这次就来用numpy手撸一下他们的具体实现原理。卷积

深度学习之卷积神经网络CNN（二）训练方法

liuy9803的博客

08-24

2万+

CNN的训练和DNN类似，使用前向传播得到预测值后，再用反向传播算法链式求导，计算损失函数对每个权重的偏导数，然后使用梯度下降法对权重进行更新。一、参数初始化 神经网络的收敛结果很大程度取决于参数的初始化，理想的参数初始化方案使得模型训练事半功倍，不好的初始化方案不仅会影响网络收敛效果，甚至会导致梯度弥散或梯度爆炸。注意参数不能全部初始化为0，这是因为在反向传播时梯度值相同，...

error: no matching constructor for initialization of 'QRibbon'

05-13

这个错误提示表示在你的代码中使用了一个没有匹配的构造函数来初始化一个 `QRibbon` 对象。可能的原因是： 1. 在你的代码中没有定义 `QRibbon` 的构造函数，或者定义的构造函数与你使用的参数不匹配。 2. 你使用了一个旧版本的 Qt，其中没有包含 `QRibbon` 类。 3. 在调用构造函数时，你提供的参数类型不正确，无法转换为 `QRibbon` 类所需的参数类型。为了解决这个问题，你可以检查你的代码和 Qt 版本，确保你正确地定义了 `QRibbon` 的构造函数，并提供正确的参数类型。