吴恩达深度学习课程第一课（第三周） — 浅层神经网络

what is Neural Network?

 

1、Neural Network Representation

只有一个隐藏层的神经网络：双层神经网络只有一个隐藏层。

隐藏层是第一层（双层神经网络）

2、Computing a Neural Network's Output

神经网络到底在计算什么

第一个节点：

第一步计算z，第二步计算激活函数sigmoid（z）

4.Vectorizing across multiple examples

如何向量化：

 

5.Explanation for vectorized implementation

6.如何使用不用的激活函数  Activation functions

会用sigmo函数的场合（1：希望y^的值介于0~1之间。2：使用二分类时）

ReLU函数

ReLU的缺点：

在实践种使用ReLU激活函数很快的原因就是ReLU没有这种函数斜率接近于0时，减慢学习速度的效应。

不同激活函数的优缺点：

 

7.为什么要使用activation functions

8.Derivatives of activation functions

9.梯度下降算法的具体实现 如何处理单隐层神经网络

Gradient descent for neural networks

10.计算梯度（选看）

11.随机初始化

0.01可以