机器学习笔记-感知机

  • 感知机的解不唯一,与初始值和选取的误分类点有关
  • 感知机学习算法包括原始形式对偶形式
  • 对偶形式是对算法执行速度的优化,引入了Gram矩阵,达到一次计算,多次使用的效果
  • 损失函数为误分类点到超平面距离之和(凸函数)
  • 参数通过随机梯度下降法来确定(每次使用一个误分类点)
  • 对线性可分数据集,感知机算法收敛,即经过有限次迭代可以得到一个将训练数据集完全正确划分的分离超平面及感知机模型
  • 当训练集线性不可分时,感知机算法不收敛,迭代结果会发生震荡
  • 感知机的分类条件是线性条件,其损失函数也是线性的,所以是一个比较简单的凸优化问题
  • 感知机算法规定了θ的更新步骤,它导致θ不能取到中的任意值,而只能取各个数据向量的整系数线性组合。这个限制使得感知机往往会错过最优解。同时,感知机算法的终止条件是所有数据均正确分类,并不是最小化J(θ),所以它只会找到一个可行解,而不是使得J(θ)最小的最优解

 

 

### 关于机器学习和数据挖掘中感知机的学习笔记 #### 感知机简介 感知机是一种用于线性分类的监督学习算法,属于最简单的神经网络形式之一。该模型由两层组成:输入层和输出层,其中权重连接这两层节点[^1]。 #### 数学表达式 感知机通过计算加权求和并应用激活函数来决定最终输出类别标签。具体来说: \[ f(x)=sign(\sum_{i=0}^{n}{w_ix_i}) \] 这里 \( w_i \) 表示第 i 维特征对应的权重参数,\( x_i \) 是相应维度上的输入变量值,而 sign 函数用来判断正负号从而得出所属类别。 ```python import numpy as np def perceptron_predict(X, weights): """基于给定权重预测单个样本X的结果""" z = np.dot(weights.T, X) return 1 if z >= 0 else -1 ``` #### 学习策略 为了调整初始设定不当或者随机初始化后的权重向量使之逐渐逼近最优,采用误分类最小化原则更新规则如下所示: 如果实例被错误划分,则按照一定步长修正当前方向直至收敛为止;反之保持不变继续下一个训练样例直到遍历整个集合完成一轮迭代循环操作。 ```python learning_rate = 0.1 # 步长大小可调参优化设置 for epoch in range(max_epochs): for xi, target in zip(X_train, y_train): update = learning_rate * (target - predict(xi)) weights += update * xi ``` #### 应用场景 尽管简单朴素却有着广泛应用背景,比如垃圾邮件过滤器设计当中可以利用其快速高效的特点实现初步筛选工作;另外图像边缘轮廓提取任务里也能发挥重要作用等等[^2]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值