深度学习之权重初始化

关注

原创最新推荐文章于 2026-06-08 12:26:59 发布 317 阅读 AI 写同款· GEO 优化 ›

权值初始化——高斯初始化，Xavier初始化，MSRA初始化，He初始化在训练神经网络之前，必须对其全值和偏置进行初始化。常用的初始化方法有四种，分别是高斯初始化、Xavier初始化和MSRA初始化。它们一般都把偏置初始化为0，但对权值进行随机初始化。其中，高斯初始化比较容易理解，就是根据某个高斯分布来初始化权值，但均值通常选0，方差需要按经验人工选择。下面对Xavier和MSRA以及He做进一步的说明。 Xavier的基本思想是保持信息在神经网络中流动过程的方差不... 阅读详情

直接选择最新的研究成果，即使用服从正态分布N(0, 2/input_num)的随机数
下图来着这里
生成服从(0,1)正态分布的z1,z2
Box-Muller方法，随机抽出两个从[0,1]均匀分布的数字u和v。然后
python验证

import numpy as np
from pylab import *

x=[]
for i in range(10000):
	u = np.random.uniform(size=1)
	v = np.random.uniform(size=1)
	z = np.sqrt(-2*np.log(u))*np.cos(2*np.pi*v)
	#z = z * np.sqrt(2.0/512)
	x.append(z)
y=[]
z=[]
for i in range(100):
	y.append(0)
	z.append(-4+i*0.08)
for i in range(10000):
	tmp=(x[i]+4)/0.08
	if tmp >= 0 and tmp < 100:
		y[int(tmp)]+=1
plt.plot(z, y, 'ro-', color='#4169E1', alpha=0.8, linewidth=1, label='example')
plt.legend(loc="upper right")
plt.xlabel('x')
plt.ylabel('y')
plt.show()

C++生成任意正态分布

#include <stdlib.h>
#include <math.h>
#define PI 3.14159265359

float NormalDistribution(float miu, float sigma) {
    float u = 1.0*rand()/RAND_MAX; 
    float v = 1.0*rand()/RAND_MAX; 
    float z = sqrt(-2.0*log(u))*cos(2.0*PI*v);
    return miu + z * sigma;
}

int main() {
	srand((unsigned)time(NULL));
	NormalDistribution(0, sqrt(2/512));
}