qq_45602850的博客

作业1：初始化不同的初始化会导致不同的结果随机初始化用于打破对称性，并确保不同的隐藏单元可以学习不同的东西不要初始化为太大的值随机初始化对于带有ReLU激活的网络非常有效Xavier初始化还不会！！！作业2：正则化正则化将帮助减少过拟合。正则化将使权重降低到较低的值。L2正则化和Dropout是两种非常有效的正则化技术L2正则化的影响：损失计算：- 正则化条件会添加到损失函数中反向传播函数：- 有关权重矩阵的渐变中还有其他术语权重最终变小（“权重衰减”）：- 权

正则化目的：防止过拟合、增强模型的泛化能力。什么是 dropout？在神经网络中，遍历神经网络的每一层，为每一层设置一个概率keep-prob，并以1-(keep-prob)的概率移除一些神经元。 也可以理解为每一个神经元被保留下来的概率为该层的keep-prob。注意：深度学习模型在训练时使用dropout，在测试时不使用dropout。Inverted dropout 反向随机激活随机生成矩阵d[l]=np.random.randn(a[l].shape,a[l-1].shape)判断

1.行标准化在机器学习和深度学习中使用的另一种常见技术是对数据进行标准化。 由于归一化后梯度下降的收敛速度更快，通常会表现出更好的效果。 通过归一化，也就是将x更改为以下形式（将x的每个行向量除以其范数）。举例：范数求法：x_norm=np.linalg.norm(x, ord=None, axis=None, keepdims=False) #keepdims用于保持维度①x: 表示矩阵（也可以是一维）②axis：0代表将每一列相加，1代表把每一行相加③ord：范数类型这个示例中