感知机公式详细推导

1. 感知机模型

假设 $x$ 表示 $n$ 维的向量，$x$ 待划分的类别 y ∈ { + 1 , − 1 } y \in \{+1,-1 \} y∈{ +1,−1} ，则感知机可以表示为如下函数：$$f(x)=sign(wx+b)$$其中 $w,b$ 称之为感知机模型参数，$w$ 成为权值向量，其维度与 $x$ ，即输入向量的维度相同， $b$ 称为偏置，$sign$ 函数为符号函数，表示如下：$$sign(x)=\{\begin{array}{rl}+1& ,x\ge 0\\ -1& ,x<0\end{array}$$须知，感知机划分的平面不一定是二维的，划分的平面是几维取决于输入数据的维度。

2. 感知机损失函数

损失函数度量着我们对训练集划分准确性，在感知机模型中，很自然的一个是使用误分类点的个数来作为损失函数，但是，这样的函数并不是参数 $w,b$ 的可导函数，即使知道了误分类的点的个数，也不能使用更有效的方法来改进参数使得划分更加正确，故我们选取各点到所划分的平面的距离作为损失函数，这样就能够使用最小二乘法或者随机梯度下降法来对参数进行优化，使划分一步步优化。

输入空间任一点 $x_0$ 到划分的平面 w x + b = 0 wx+b=0