激活函数（ activation function）的理解笔记

• 笔记1来自知乎网友lee philip的回答：    

激活函数是用来加入非线性因素的，因为线性模型的表达能力不够。比如异或问题，激活函数我们选择阀值函数（threshold function），也就是大于某个值（如0）输出1（被激活了），小于等于则输出0（没有激活），这个函数是非线性函数。

其中直线上的数字为权重。圆圈中的数字为阀值。第二层，如果输入大于1.5则输出1，否则0；第三层，如果输入大于0.5，则输出1，否则0. 所以，对于那种用一条线没办法分类的问题，就可以用神经网络的方式转化为非线性问题，然后加入激励函数进行01选择，最后输出分类结果。

• 笔记2：

常用的激励函数：ReLU，意思是：大于0的部分保留，小于等于0的部分记为0，由于矩阵稀疏性运算速度会加快，比下面两种常用。

其他还有比较古老的激励函数，如sigmoid函数：

还有sigmoid函数的变形tanh函数：

• 笔记3：

在神经网络输出层部分，常用softmax函数来进行归一化处理，同时增强数据间的对比度。

softmax：