神经网络之激励函数(Activation Function)

一、什么是激励函数？

在人工神经网络中，单个神经元的输入与输出之间的函数关系叫做激励函数。

Activation Function 也可翻译为“激活函数”，它用于激活某些神经元并把激活的神经元接受到的值通过映射，作为输出传递下去。

激励函数实质上是一种将线性方程非线性化的方法。
函数 y = AF(Wx+b) 中 x 表示输入、y 表示输出，Wx+b 是一个关于 x 的线性方程，而激励函数 AF 就负责将这个线性方程“掰弯”(即把它变成非线性的)。简而言之，激励函数就是对数据进行非线性化处理。

二、为什么需要激励函数？

根本原因是为了引入非线性因素。线性模型在很多情况下不能很好地表现实际情况，对于一些情况并不适用。

例如，要将一个平面上的两类点分隔开，有时一条直线就可以很好地实现，但是有时需要用曲线才能较好地区分。

在下面这张图中，一条直线就可以将红蓝两类点区分开来。

但是对于这张图，就无法用一条直线区分了。

但是用一条曲线就可以。