简述感知机（perceptron）

最新推荐文章于 2025-04-12 23:00:45 发布

innerVoi

最新推荐文章于 2025-04-12 23:00:45 发布

阅读量1k

点赞数 1

分类专栏： machine learning 文章标签：机器学习

本文链接：https://blog.youkuaiyun.com/qq_41977459/article/details/103299793

版权

10 篇文章

订阅专栏

本文深入解析感知机作为二类分类线性模型的工作原理，介绍感知机函数、损失函数及学习算法思想，探讨如何利用梯度下降法寻找最优参数，实现数据集的正确分类。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

感知机是二类分类的线性分类模型（判别模型）。输入为实例的特征向量，输出类别取值+1或-1。

$f(x)=sign(w\cdot x+b)$

其中，w为权值向量，b为偏置。

$sign(x)=\left \{ +1\quad x\geq 0;\quad-1\quad x< 0;\right\}$

假设数据集是线性可分的，感知机学习的目标是找出将数据集中正实例和负实例完全分开的分离超平面。那么对于上述的函数来说，我们的目的就是求得w和b的参数值，这样我们就能够确定最终的函数从而得到这个超平面。

如何去求w和b呢？我们想把正负实例点正确的分到超平面两侧，如果有错误分类的点出现我们又怎样去衡量它呢？为解决这两个问题，我们需要思考如何建立模型的损失函数。对于点和面来说，我们最容易想到的关联关系就是点到面的距离，因此我们将数据集中任意一点 $x_{0}$ 到超平面的距离公式化如下：

$\frac{1}{\left \| w \right \|}\left | w\cdot x_{0}+b \right |$ （ $\left \| w \right \|$ 是w的二范式）

但仅仅这样还不能够被用作损失函数，因为我们想得到的是所有错误分类的点的损失，所以我们再次重新审视数据集，很容易发现它们的类别标签不是+1就是-1。也就是说如果模型预测错误，那么预测的类别将和它实际类别异号。故所有误分类的点一定满足下式：

$-y_{i}(w\cdot x_{i}+b)>0$

就此，我们得到感知机模型的损失函数 $L(w,b) = -\sum y_{i}(w\cdot x_{i}+b)$ 。

为了极小化损失函数从而得到分离超平面，感知机算法使用梯度下降方法随机选取一个误分类点使其梯度下降。

$\bigtriangledown _{w}L(w,b)=-\sum y_{i}x_{i}$

$\bigtriangledown _{b}L(w,b)=-\sum y_{i}$

输入：训练数据集 $T={(x_{1},y_{1}),(x_{2},y_{2}),...,(x_{n},y_{n}))},y_{i}\in \left \{ +1,-1 \right \}$ ，学习率 $\eta (0<\eta \leq 1)$

输出： $f(x)=sign(w\cdot x+b)$

选取初值 $w_{0},b_{0}$
从训练集中选取一个实例点
如果 $-y_{i}(w\cdot x_{i}+b)\leq 0$ ： $w\leftarrow w+\eta y_{i}x_{i},b\leftarrow b+\eta y_{i}$
转至第二步i，直至训练集中没有误分类点

感知机算法的对偶形式：

其思想是将w和b表示为实例 $x_{i}$ 和类别 $y_{i}$ 的线性组合形式，然后通过求解其系数而得到w和b。那么假设w已经更新了n次，设 $\alpha _{i}=n\eta$ ，从而我们便能够使用下述式子代替之前的w和b：

$w=\sum_{j=1}^{n}\alpha _{j}y_{j}x_{j}$

$b=\sum_{j=1}^{n}\alpha _{j}y_{j}$

输入：训练数据集 $T={(x_{1},y_{1}),(x_{2},y_{2}),...,(x_{n},y_{n}))},y_{i}\in \left \{ +1,-1 \right \}$ ，学习率 $\eta (0<\eta \leq 1)$

输出： $f(x)=sign(\sum_{j=1}^{n}\alpha _{j}y_{j}x_{j}\cdot x+b)$

选取初值 $\alpha=0,b=0$
从训练集中选取一个实例点
如果 $\sum_{j=1}^{n}\alpha _{j}y_{j}x_{j}\cdot x+b\leq 0$ ： $\alpha \leftarrow \alpha +\eta ,b\leftarrow b+\eta y_{i}$
转至第二步i，直至训练集中没有误分类点