第八节机器学习--神经网络

一、神经网络

1、反向随机失活
Inverted DropOut反向随机失活
d3 = np.randm.rand(a3.shape[0], a3.shape[1]) < keep_prob

a3 = np.multiply(a3, d3)

a3 /= keep-prob

假设有50个神经元， keep-prob = 0.8， 也就意味着10个左右的神经元要设为0

在这种情况下， z = wa + b 就要减少20%， 这样呢，z会越来越小

为了弥补这种情况，我们需要对a进行弥补，弥补的方式就是用a/keep_prob 。

2、梯度下降的优化算法
指数加权平均

加权平均的作用

3、动量梯度算法
计算梯度的指数加权平均数，并利用该梯度更新你的权重值。

如果朝着一个方向运动的话，就好像有个小球推着你走
如果朝着不