YB菜菜的机器学习自学之路（五）——完整的单神经元罗森布拉特感知模型（激活函数）

前提说明

首先，事实上，我们在思考分析问题时，并不会考虑精确的数学拟合，而是分类，比如将一组数据分类成若干个类别，这也是机器学习真正要做的事情。
此外，线性函数的能力是有限的。在前面中，我们将输入通过一元一次函数进行相乘累加。事实上无论多少个神经元，无论多少次方的函数，其都是线性的。无论多少次都可以看成矩阵相乘，就算叠加了若干层之后，无非还是个矩阵相乘罢了。
因此，我们需要加入一个新的操作，来增加神经元模型的非线性。

1.激活函数

1.1 激活函数的作用

图1

如图1所示绿色部分，在实际中，我们在罗森布拉特感知器前向过程的输出后面加入一个非线性函数，来增加神经网络模型的非线性和实现数据的分类。这个非线性函数称为激活函数。

1.2 Sigmod函数

Sigmod函数是常用的激活函数，是一个在生物学中常见的S型函数，也称为S型生长曲线。它能将变量映射到0,1之间。常见的几种形式如图2所示。

图2 Sigmod函数的几种常见形式

在这当中，Logistic最为常用，其表达式为：
s i g m o i d ( ) = L 1 + e − k ( y − y 0 ) (