深度学习优化——He初始化

最新推荐文章于 2025-09-03 09:54:06 发布

原创最新推荐文章于 2025-09-03 09:54:06 发布 · 5.5k 阅读

23 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #神经网络 #机器学习

deep learning 专栏收录该内容

12 篇文章

订阅专栏

He初始化由何凯明等人提出，适用于Relu和Prelu激活函数，旨在解决神经网络中梯度消失问题，保证信息在前向和反向传播中的有效流动，确保各层输入信号方差均衡。与标准差0.01的初始化相比，He初始化在深层网络中表现更优。

1 背景

He初始化是何凯明等提出的一种鲁棒的神经网络参数（W）初始化方法，可以保证信息在前向传播和反向传播过程中能够有效流动，使不同层的输入信号的方差大致相等。

He初始化对应的是非线性激活函数（Relu 和 Prelu）。

2 方法

任意层的权重 $W_{l}$ ，按照均值为 0，且方差为 $\sqrt{\frac{2}{n_{l}}}$ 的高斯分布进行初始化，可以保证每一层的输入方差尺度一致。

def initialize_parameters_he(layers_dims):
    np.random.seed(3)
    parameters = {}
    L = len(layers_dims) # 网络层数 
    for l in range(1, L):
        parameters['W'+str(l)] = np.random.randn(layers_dims[l],layers_dims[l-1])*np.sqrt(2./layers_dims[l-1])
        parameters['b'+str(l)] = np.zeros((layers_dims[l],1))  
    return parameters

parameters = initialize_parameters_he([2, 4, 1])
print("W1 = " + str(parameters["W1"]))
print("b1 = " + str(parameters["b1"]))
print("W2 = " + str(parameters["W2"]))
print("b2 = " + str(parameters["b2"]))

输出

W1 = [[ 1.78862847  0.43650985]
 [ 0.09649747 -1.8634927 ]
 [-0.2773882  -0.35475898]
 [-0.08274148 -0.62700068]]
b1 = [[0.]
 [0.]
 [0.]
 [0.]]
W2 = [[-0.03098412 -0.33744411 -0.92904268  0.62552248]]
b2 = [[0.]]