作业1:随机初始化
将权重随机初始化为非常大,放大十倍
parameters[‘W’ + str(l)] = np.random.randn(layers_dims[l],layers_dims[l-1]) *10
运行结果:
On the train set:Accuracy: 0.83
On the test set:Accuracy: 0.86
实验1:不放大十倍,随机初始化的效果
权重矩阵W随机初始化为
parameters[‘W’ + str(l)] = np.random.randn(layers_dims[l],layers_dims[l-1])
运行结果:
On the train set:Accuracy: 0.9966666666666667
On the test set:Accuracy: 0.96
作业2:He初始化
He初始化建议使用的ReLU激活层
权重矩阵W初始化为
parameters[‘W’ + str(l)] = np.random.randn(layers_dims[l],layers_dims[l-1]) * np.sqrt(2./layers_dims[l-1])
运行结果: