qq_35290457的博客

8. DCGAN 2019/11/10GAN, 又称生成对抗网络, 也是 Generative Adversarial Nets 的简称我们知道自然界的生物无时无刻都不在相互对抗进化，生物在往不被天敌发现的方向进化， 而天敌则是对抗生物的进化去更容易发现生物。 二者就是在做一个博弈。GAN网络和生物对抗进化一样， 也是一个博弈的过程。 我们通过网络的Generator...

RMSprob (root mean square prob)Adam:adam 结合了Momentum和RMSprop两种算法：# GRADED FUNCTION: update_parameters_with_adamdef update_parameters_with_adam(parameters, grads, v, s, t, learning_rate...

动量梯度下降法： Gradient Descent With Momentum1.指数加权移动平均：2.指数加权平均的偏差修正：如图所示：紫色图为这些点集的加权平均，但很显然在刚开始的时候，加权平均不能很好估测数据。所以我们需要通过偏差修正加权平均。3.动量梯度下降法：当我们使用梯度下降算法进行训练的时候，我们的训练过程会出现左图所示， 慢慢摆...

梯度下降Mini-Batch Gradient Descent1.打乱数据。 将输入的数据x和结果y,进行同步的随机打乱。2.分区。 将打乱后的数据进行分区，每个含有mini_batch_size大小个数据。3.按照分区后的数据，进行梯度下降算法。# GRADED FUNCTION: random_mini_batchesdef random...

训练神经网络，尤其是深度神经网络所面临的一个问题就是梯度消失和梯度爆炸，也就是当训练神经网络的时候，导数或者坡度有时会变得非常大，或者非常小，甚至于以指数方式变大或者变小，这加大了训练的难度。神经网络的权重初始化：...

在每次迭代中，随机失活（1-keep_prob)%的神经元，使得keep_prob%的神经元保持正常运转。这些失活的神经元将不会接下来的前向传播和反向传播传递数据。当关闭一些神经元时，你实际上修改了你的模型。随机失活背后的思想是，在每次迭代中，你训练一个只使用一个子集神经元的不同模型。当随机失活时，神经元将会对另一个特定神经元的激活就变得不那么敏感，因为另一个神经元随时可能失活。...

SigmoidTanh:Rectified Linera Unit (ReLU)Leaky Linear Unit (Leaky ReLu)