四、大数据机器学习 - 感知机-笔记

要点

• 感知机模型

• 感知机学习策略

• 感知机学习算法

一、感知机

它是神经网络技术的基础；是支持向量机模型的基础，它的线性可分性和对偶性形式是SVM算法直接的对应关系。

• 针对：二分类问题

• 实质：分离超平面，判别模型；

• 策略：基于误分类的损失函数；

• 方法：利用梯度下降法对损失函数进行极小化；

• 特点：感知机学习算法具有简单而易于实现的优点，

• 分类：分为原始形式和对偶形式；

一、感知机模型

为内积，b为偏置。

 

二、感知机学习策略

为了找到超平面，也就是确定参数w和b，需要确定一个学习策略，也就是定义损失函数，并将损失函数最小化。

总距离是指所有误分类点到超平面S的总距离。

 

三、感知机学习算法

感知机学习问题转化为求解一个最优化的问题。

η范围在0~1，它是学习步长也成为学习率

感知机学习算法原始形势

举例

算法收敛性

定理表明：

• 误分类的次数k是有上界的，当训练数据集线性可分时，感知机学习算法原始形式迭代是收 敛的。

• 感知机算法存在许多解，既依赖于初值，也依赖迭代过程中误分类点的选择顺序。

• 为得到唯一分离超平面，需要增加约束，如SVM。

• 线性不可分数据集，迭代震荡。

 

 

问题： • 实例点更新次数越多，意味着该点离分离超平面 ？====》越近

举例