深度学习-感知机

 这节我们正式进入感知机

1、感知机的概念

感知机是一种二分类的线性分类模型，是一种深度学习常用的工作效率高的机器模型。感知机的设计原理来源与人体的神经元，所以感知机又称为人工神经元。如图：

神经元的工作原理是由树突将输入信号传入细胞体，细胞体接收并整理、合并这些信息后，再交给轴突来决定是对这些信号进行抑制还是激活并且传入给其他的神经元。而感知机就是将神经元的信号传递过程抽象化，变成一个数学模型，用它来实现对数据的分类。如图：

感知机有带偏置b和不带偏置b的，带偏置b的与b相连的权重为1，这是一种感知机模型的特殊情况。感知机包含多个权重参数，输入的特征值x先是与权重相乘，再送到一块相加，得到加权和。再将得到的加权和送到激活函数，最后得到输出。激活函数前面的部分，是我们熟悉的 y = wx + b,毫无疑问这是一个线性的方程，将其可视化会是一条直线。而我们二分类问题想要的结果却是分开的鲜明的离散的值。这时候就需要激活函数进行分类，激活函数存在就是将连续的值转换为离散的值（像1，-1那样的）。我们以上一节代码的运行结果举例：

我们可以看到我们由于激活函数得到了两类离散的值，一类是红色的，在直线左边的，它们是小于零的，另一类是蓝色，在直线右边的。中间这个之间就是区分这两部分的决策函数（定义的损失函数）。

对于单层感知机常用的损失函数有L = −yi ( w * xi + b ) 

2、激活函数

激活函数的概念：

说到感知机这种机器模型，肯定绕不开的话题就是激活函数了。激活函数是感知机的核心，也是所有机器模型的核心。虽然对于单层感知机来说，我们只需要用一个简单的分段函数就好，但是我们要解决复杂的问题时（用多层感知机），还是绕不开那些常用的，复杂一点的激活函数。 注意啊，激活函数是属于机器模型的共有概念。理所应当的，这些激活函数也是公用的，它们并不单独属于任何一个机器模型，所有机器模型都可以使用它们。

常见的激活函数：

我们讲几个常用的激活函数，1. Sigmoid 函数（逻辑函数），2. Tanh 函数（双曲正切函数），3. ReLU（Rectified Linear Unit）函数， 4. Softmax 函数 。

除了以上几个还有一些常用的激活函数：Leaky ReLU激活函数， Parametric ReLU (PReLU)激活函数，  ELU（Exponential Linear Unit）激活函数， Swish激活函数。这里就不全部介绍了。

1、Sigmoid 函数（逻辑函数）

Sigmoid 是一种常见的激活函数，通常用于神经网络中的输出层，尤其是在二分类问题中。它的主要特点是将输入值压缩到一个 0 到 1 之间的范围，适合作为概率输出。

数学公式：

公式图像：

通过观察图像，我们可以发现sigmoid函数的特点，

特点：

1. 输出范围：Sigmoid 函数的输出始终