【吴恩达p62-64】
1. sigmoid function的替代方案
- 来看上周的例子,预测一个商品是否能成为消冠。
- 这里的awareness可能是binary的。人们要么知道/不知道。但事实上,可能是知道一点,完全知道…
- 因此,与其用0/1来预测(太简单了)或者0-1之间的数字,不如直接尝试预测awareness的概率。让awareness可以取到负值。
- 使用该方程,来预测awareness,会得到左侧的图像。如果想让a1_2取到大雨1的数字,在neural network里更常见的是使用右侧图像的这种activation【ReLU】,这样g(z)就可以取到所有非负数。
5. 一些常见的activation function:
(1) Linear activation function【也可以说没有使用任何activation function, 因为会直接让a = wx+b】
(2)sigmoid
(3)RuLU
2. 如何选择activation function
- 如何选择output layer的activation function,这取决于target label / 真