pytorch中的激活函数详解

1 激活函数介绍

1.1 什么是激活函数

激活函数是神经网络中引入的非线性函数，用于捕获数据中的复杂关系。它来自动物界的灵感，动物的神经元会接受来自对它有作用的其他神经元的信号，当然这些信号对该神经元的作用大小不同（即具有不同的权重）。那么该神经元的信号值就是其他神经元信号加权求和后的值。如果该信号值大于指定阈值，则会激活，否则不会激活，抽象的数学模型为：

这里的激活函数就是阶跃函数，但在0处跃变且不可导。

进一步抽象出神经网络模型中神经元模型为：

其中为激活函数 

1.2 激活函数的作用

没有激活函数,可能简单的二分类问题都不能被优雅解决

现在有一个二分类问题，将三角形和圆点进行正确分类。这是一个线性不可分的问题（在这个平面里，找不到一条直线可以把图中的三角形和圆点完全分开），我们试着用神经网络解决这个问题。

可能的解决思路：

• 用单层感知机（不带激活函数）

首先我们想到利用最简单的单层感知机来解决，单层感知机可以画出一条直线，把平面分开。 

 

左图是没有激活函数的单层感知机结构，其中w1,w2是权重值，b是偏置值，它的工作原理是：输入一个样本（有两个特征x1,x2），如果y>0说明该样本是正类；如果y<0，说明该样本是负类。我们这里不讨论y=0的特殊情况。根据单层感知机的工作原理，我们画出右边的坐标图。

结论是：不带激活函数的单层感知机是一个线性分类器，不能解决线性不可分的问题。 不能解决二分类问题。

• 用多个感知机（不带激活函数）

不带激活函数的单层感知机解决不了问题，那我们就会