ML：2-2-2 sigmoid 函数的替代方案

【吴恩达p62-64】

1. sigmoid function的替代方案

1. 来看上周的例子，预测一个商品是否能成为消冠。
2. 这里的awareness可能是binary的。人们要么知道/不知道。但事实上，可能是知道一点，完全知道…
3. 因此，与其用0/1来预测（太简单了）或者0-1之间的数字，不如直接尝试预测awareness的概率。让awareness可以取到负值。
4. 使用该方程，来预测awareness，会得到左侧的图像。如果想让a1_2取到大雨1的数字，在neural network里更常见的是使用右侧图像的这种activation【ReLU】，这样g(z)就可以取到所有非负数。

5. 一些常见的activation function：
（1） Linear activation function【也可以说没有使用任何activation function， 因为会直接让a = wx+b】
（2）sigmoid
（3）RuLU

2. 如何选择activation function

1. 如何选择output layer的activation function，这取决于target label / 真