h2728677716的博客

每次step(包括一次正向传播，一次反向传播)，每个神经元包括输入神经元，不包括输出神经元，有一定概率的被临时丢掉，意味着他将被忽视在这次整个step中，但下次可能会在被激活。超参数p,dropout rate 一般设置0.5。设置后每个神经元将有0.5的概率被失活，未被失活的将被1/（1-rate）放大# 定义dropout层layer = tf.keras.layers.Dropout(0.2, input_shape=(2,))# 定义输入数据data = np.ar.

MSE加上L2正则项的整体损失total loss公式： 用L2范数可以写成

1.首先回顾梯度下降的流程1.随机初始化一组参数theta2.求梯度g，loss对theta求偏导3.使用梯度下降公式 W(t+1) = Wt - η*g4.判断收敛我们添加正则项即在MSE上加L1/L2,添加上后直接改变的就是梯度下降的第二步，此时g变成了g = （MSE + L1/L2）求偏导,那么第三步就W(t+1) = Wt - * 这样原来的梯度下降就多了一部分,使得每次迭代都让参数W多调整了一些，更...

常用的惩罚项L1正则项和L2正则项MSE + L1 ==> lasso 回归MSE + L2 ==> Ridge 回归L1正则项相当于求曼哈顿距离。L2正则项相当于求欧氏距离L2范数的平方（两点之间连线）的平方。...

1.under fit:欠拟合，训练集和测试集的准确率都没有达到最高。over fit:过拟合，训练集准确率太高，导致测试集以及未来预测准确率反而变低。just right:刚刚好，训练集和测试集都可以拟合的很好。2.目的:正则化的目的是防止训练过拟合正则化增加模型鲁棒性（泛化能力）3.我们希望参数W越小越好，但是又不能太小。W太大导致误差会变大，W太小导致数据不管有多大的误差代入模型后都会变得特别小导致模型没有意义。所以我们希望W不能太大，也不能太小，既能保