吴恩达机器学习笔记十二 Sigmoid激活函数的替代方案 激活函数的选择 为什么要使用激活函数

在需求预测案例中，awareness这个输入可能不是二元(binary)的，或许是一点(a little bit)、有些(somewhat)或完全(extremely)，此时相比将awareness规定为0、1，不如考虑概率，认为它是一个0-1之间的数。

激活函数可以采用ReLU函数(rectified linear unit)

三个常用的激活函数

使用线性激活函数也可以看作是没有激活函数。

激活函数的选择

输出层(output layer)

输出层激活函数的选择和标签y的真实准确值有关。当y的值是0或1，即分类问题时，在输出层采用Sigmoid函数；解决回归问题，可能采用不同的激活函数。如预测股票的趋势，可能出现正数也可能出现负数，因此采用线性激活函数(linear activation function)；如果y是非负的，那么可以采用ReLU函数。

隐藏层(hidden layer)

最常见的是ReLU函数。最初常用的是sigmoid函数，使ReLU函数有两个原因：一是R