一文读懂感知机模型

深度学习笔记(一)——感知机模型(Perceptron Model) 感知机,也叫单层神经网络,是最基础的神经网络模型结构。 阅读详情

很多人第一次学习机器学习,就学的是感知机(Perceptron)这个模型。感知机模型虽然简单,但是包含的方法确实后面很多模型常常用到的,例如神经网络、支持向量机等。

本文就用最简单的方式,从该模型背景出发,对其原理进行推导。文中特别介绍了感知机的对偶形式,对我们学习支持向量机很有益处,可以好好体会感知机和支持向量机的区别与联系。

1 问题提出

假设在二维空间中我们有一些散点,这些散点属于不同的类,那我们该怎么样区分这些点呢?或者说按照什么样的规则分开这些点呢?我们首先想到的应该是画一条线来进行区分。

如下图所示,红色的线的上部为一类,下部分为一类。很简单不是吗?如果我们下图建立坐标,就可以很容易的求得直线的解析式F(X),F(X)>0为一类,F(X)<0又为另一类。倘若我们的空间为N维呢,情况又会怎么样呢?于是我们提出了感知机模型,简单来说,就是找一个直线或者平面将数据分隔开
在这里插入图片描述

2 感知机模型初探

2.1 感知机模型的定义

一中的 f(x)就是感知机的最简单形式,现在假设输入空间为N维,输入空间为y = {+1, -1},我们定义函数:

f(x) = sign(wx+b)

该函数便称为感知机,其中w与b是感知机模型参数,w为权值(N维),b为偏置,sign()函数即符号函数,在x大于0时为正,x小于0时结果为负,该函数的最大作用是取某个数的符号,在机器学习中,常常用于二分类问题。
在这里插入图片描述

2.2 感知机模型的细节

感知机模型定义为f(x) = sign(wx+b),其函数内部的 wx+b,当其 wx+b=0 时表示为一个超平面,具体超平面是什么在2.3中有讲解,注意,此处w和x都是N维的。

我们将数据x代入 wx+b 中,若 wx+b>0 表明其在超平面上方,值 wx+b<0 表示其在超平面下方( 类别不同,符号不同 )。因此我们在外面加上 sign() 函数,取其正负号,其结果便能够表示数据的类别。

同时要理解模型是什么?在二分类问题中,将给定数据输入模型中,能够输出数据的类别。感知机模型就是如此,同时感知机模型的本质是一个判别模型,仅仅能够判断数据的类别。与之相对的是生成模型,具体的定义可以看本人的生成对抗网络(GAN)论文原文详解一文。

但是模型不是天生就有的,我们需要找到最合适的 w 和 b 才能将数据很好的分割开来,而怎么找到合适的 w 和 b 呢?就需要对模型进行训练了,具体的训练过程见第三节。

2.3 感知机模型的适用范围

在1中我们可以注意到,两类样本都是可以通过直线下进行分割的,这样数据集称为线性可分数据集,扩展到N维,我们定义:
在这里插入图片描述
简而言之,假如我们的数据能够被wx+b=0的超平面分隔开,则称为数据集线性可分,这里超平面的概念初学者可能会难理解,其实质就是数据能够被这个函数分隔在左右两边,wx+b>0是一类,wx+b<0又是一类。

wx+b=0在二维空间中是一条直线,三维空间中是一个平面,在多为空间中就可以被称为超平面了,因为我们根本无法想象了,想象不出来就记得这个函数公式就好啦。

指导线性可分的概念,我们也就给出感知机的适用范围。感知机就必须要求数据集是线性可分的, 不然就无法确定一个超平面了。

3 感知机学习算法

定义好模型之后,我们需要对模型进行训练,以得出合适的参数。在李航的《统计学习法》一书中,统计学习有三大要素,分别是模型、策略和方法。这是一个很好的学习框架,当解决一类机器学习问题的时候,脑中就应该有这三个概念,再在这个框架上添砖加瓦。

3.1 模型

进行统计学习,首先考虑的问题就是要学习什么样的模型。李航《机器学习》一书中,将模型定义为要学习的条件概率分布和决策函数,两种模型分别对应概率模型的非概率模型。在学习机器学习过程中,要慢慢的理解二者的差别。

个人理解使用模型的最根本目标就是能够拟合现有数据的特征。例如在感知机中可以将正负样本分开,在聚类算法中可以吧同类的点划分在一起等,都是能够拟合现有数据的特征,并依据我们所得到的这个模型,去对一些未知的数据进行分类、聚类等操作

本文的感知机模型目标就是找到一个超平面,以此来分割正负样本点,故是一种非概率模型。再第二节中,我们知道了感知机模型的决策函数定义为:
f ( x ) = s i g n ( w x + b ) f(x) = sign(wx+b) f(x)=sign(wx+b) 其中的 s i g n ( x ) = { + 1 , x ⩾ 0 − 1 , x ⩽ 0 sign(x) = \left\{\begin{matrix} +1,x\geqslant 0\\ -1,x\leqslant 0 \end{matrix}\right. sign(x)={+1,x⩾0−1,x⩽0​

3.2 学习策略

选择好模型后,我们需要考虑如何获得最优的模型,即如何找到模型的最优参数。

在非概率模型中,一般的方式是定义一个损失函数,最小化损失以优化模型。在感知机模型中,就是要找到一个超平面,能够将正负样本较好的分离开。

我们可以很容易的想到就是所有点到超平面的距离最小,距离定义为:
在这里插入图片描述
距离之和可以定义为:
在这里插入图片描述
其中 ||W|| 是w的L2范数,即权重的平凡和开根号,关于范数的问题可以学习《矩阵分析》相关理论:
在这里插入图片描述
此处就有一个关键,我们的感知机只需要将正负样本分隔开即可,而不需要满足所有点的距离之和最小(距离之和最小就是更复杂的支持向量机算法)。为了简化,我们可不考虑分母w的L2范数,直接使用函数间隔即可,具体的内容会在支持向量机的章节中讲到,读者也可以自己思考下

优化后,我们的损失函数变为:
在这里插入图片描述
然后我们就需要通过一系列的算法,让这个损失函数变得最小。

3.3 学习算法

我们要最小化L(w, b)这个损失函数,最常用的就是随机梯度下降法。这个算法应该是在非概率模型中用得最多的,其核心是一个函数在梯度的方向上升最快。因而我们直接取梯度的反方向就能时函数最小化。具体的优化方法,可以参考最优化相关的教材。

每次我们遇到误分类的数据,就对参数进行优化,即:
在这里插入图片描述
直到所有例子都被正确分类,因此可以给出感知机的学习算法:
在这里插入图片描述

3.4 学习算法的对偶形式

感知机学习算法的对偶形式是很重要的一个知识点,但是很容易理解。我们在使用2.3的算法的过程中法相,对每个数据,我们都必须要计算:
w ∗ x i w*x_{i} w∗xi​

再进行数据分类是否正确的判断,分类错误就对参数机,进行优化。虽然看着很简单,但是如果数据的维数很高,每次进行判断就要运行多次加法运算。特别是当数据较难区分时,有些数据点会不断重复分类很多次,这样就会导致效率很低。

为了避免这种低效的问题,我们扩展了对偶法。在2.3中,每次误分类后:
w ← w + η y i x i w \leftarrow w+ \eta y_{i}x_{i} w←w+ηyi​xi​ b ← b + η y i b \leftarrow b + \eta y_{i} b←b+ηyi​ 现在我们换个角度,从全局出发,对于每一个数据点,假如在整个训练的过程中,共被误分类ni次,那么最后应该有: w ← η n i y i x i w \leftarrow\eta n_{i}y_{i}x_{i} w←ηni​yi​xi​ b ← η n i y i b \leftarrow\eta n_{i}y_{i} b←ηni​yi​因此我们可以令 α i = η n i \alpha_{i} = \eta n_{i} αi​=ηni​
将w和b进行改写 w = ∑ i = 1 N α i y i x i w = \sum_{i=1}^{N}\alpha_{i}y_{i}x_{i} w=i=1∑N​αi​yi​xi​ b = ∑ i = 1 N α i y i b= \sum_{i=1}^{N}\alpha_{i}y_{i} b=i=1∑N​αi​yi​

由于我们的目的是优化w*x的过程以优化w,其与b无关,我们不用改变b,最后我们的损失函数变为:
L = y i ( ∑ j = 1 N α j y j x j ⋅ x j + b ) L = y_{i}(\sum_{j=1}^N\alpha_{j}y_{j}x_{j}\cdot x_{j}+b) L=yi​(j=1∑N​αj​yj​xj​⋅xj​+b) 其中待更新参数为αi和b。

然后下一个问题又来了,怎么进行优化,还是求导吗?当然不是,我们每次出现错误,更新αi实质是更新错误的次数ni ,错误次数加一即可,有αi= η * ni,故有: α i ← α i + η \alpha_{i} \leftarrow \alpha_{i} + \eta αi​←αi​+η

最后,我们的算法可以修改为:
在这里插入图片描述
由于 x j ⋅ x i x_{j} \cdot x_{i} xj​⋅xi​可以提前算出来,我们无需每次判断都进行w*x的计算,而是一次乘法即可,极大的降低了计算的复杂度。

这种对偶形式,在支持向量机中也用到了,是很好的优化方法。

4 总结

感知机模型的实质就是找一个超平面对数据进行分离,由于我们的目标是分离数据,所以肯定会有以下的问题:

  1. 数据必须是线性可分。
  2. 有多个适合的超平面,其与初始值和迭代的次序有关

感知机模型虽然简单,但是却是后面我们学习神经网络或是支持向量机的基础,留个小问题,支持向量机是否可以表示布尔函数: a ∧ ¬ b a \wedge \lnot b a∧¬b
那 A XOR B呢?

机器学习——感知机模型 感知机模型的定义以及介绍,数学推导过程、代码实现感知机模型迭代过程。 阅读详情

相关推荐

【学习笔记】感知机模型

感知机(Perceptron)概述 1957年被提出,是一种有单层计算单元的神经网络模型,在结构上与M-P模型相似,提出初衷是解决数据的分类问题。感知机是神经网络和支持向量机的基础。 感知机原理 感知机本身是一种能进行二分类的线性模型。只要被处理的数据线性可分,就能使用感知机模型训练得到二分类模型。若数据线性不可分,训练会出现模型来回震荡的情况。 单层感知机模型图 感知机的数学表达式:f(x) = sign(wx+b) 其中,x为输入向量,w为输入向量对应权重值,b为偏置,w·x是点积,sign为符.

weixin_45131923的博客 3002

感知机模型

一、感知机模型 1.1定义(感知机) 假设输入空间(特征空间)是,输出空间是。输入表示实例的特征向量,对应于输入空间(特征空间)的点;输出表示实例的类别。由输入空间到输出空间的如下函数 称为感知机。 w、b:感知机模型参数 :权值或权值向量 :偏置 感知机是一种线性分类模型,属于判别模型。 1.2几何解释 线性方程对应于特征空间中的一个超平面,其中是超平面的法向量,是超平面的截距。这个超平面将特征空间划分成两个部分。位于两部分的点(特征向量)划分为正...

Lois_llw的博客 6339

一文读懂 AI 模型训练流程

AI模型训练流程可分为五个关键步骤:首先进行数据准备,包括收集、清洗、标注和增强数据;其次选择合适的模型架构并搭建神经网络;然后通过前向传播、损失计算和反向传播进行模型训练;接着用验证集评估模型性能,并调整超参数;最后在测试集上检验模型泛化能力。整个过程需要精心设计每个环节,才能获得性能优异的AI模型。

牧晨加油站 1487

详解感知机模型

1. 感知机模型 2. 感知机学习策略 3. 感知机学习算法 4. 算法收敛性证明 5. 感知机学习算法的对偶形式

SpiritedAway 3130

Gartner《构建可扩展数据产品建设框架》心得

数据产品化:从概念到落地的实践指南 当前企业正从传统数据需求模式转向数据产品化新范式。本文系统阐述了数据产品的核心价值、定义分类和实施框架,指出成功关键是将数据包装为可复用、可扩展的产品。Gartner框架强调产品思维,提出4阶段12步实施路径,涵盖设计、工程、发布和监控全流程。文章特别提醒要避免7大常见误区,如简单重命名报表、忽视元数据治理等,建议采取MVP策略,90天内完成从价值验证到产品落地的闭环。实施中需平衡技术选型与业务需求,建立跨职能团队,并通过AARRR模型持续追踪产品价值。

2501_91410404的博客 1007

手把手教你用Boot-Repair快速修复Ubuntu启动分区缺失(附详细命令行步骤)

本文详细介绍了如何使用Boot-Repair工具快速修复Ubuntu启动分区缺失问题,包括诊断、应急准备、自动修复和手动命令操作。通过grub rescue模式下的关键命令和Boot-Repair的图形界面操作,帮助用户高效解决启动分区故障,确保系统恢复正常运行。

weixin_29229989的博客 566

一文带你读懂感知机的前世今生(上)

一文带你读懂感知机的前世今生前言男女不分什么是神经元M-P神经元全或无定律McCulloch和Pitts一种高度简化的模型MP神经元和真值表MP神经元的几何理解后记参考 前言 男女不分 朋友, 当你看到类似下图的这样一副图像, 你有十足的信心区分出这是男性或者是女性吗?, 看上去相貌很像男性(尽管我们自己说不出来什么是我们自己认为的男性相貌特征),但是佩戴的耳环又让这个问题显得困惑。 是什么导致了这种现象的发生呢? 我们的判断来自大脑认知的结果。是神经元工作的产物。接下来让我们粗浅地了解一下什么是神经元。

crazyjinks的博客 1746

STM32H745xI双核芯片SMPS/LDO配置误区:从复位失败到精准排查的实战复盘

本文详细分析了STM32H745xI双核芯片在SMPS/LDO配置中的常见误区,特别是复位失败问题的排查过程。通过对比参考板与故障板的波形数据,揭示了电感选型不当导致的电源稳定性问题,并提供了硬件设计检查清单和调试技巧,帮助开发者避免类似陷阱。

weixin_42531588的博客 265

一文讲透彻什么是多层感知机

本文以威斯康星乳腺癌数据集为依托,深度剖析多层感知机(MLP)在肿瘤良恶性二分类预测中的实战应用。从数据预处理环节的分层抽样、标准化,到 MLP 模型构建时多层隐藏层、Dropout 与 L2 正则化的精妙设计;从训练过程中学习率衰减、Early Stopping 策略的运用,到模型评估时准确率曲线、混淆矩阵、ROC 曲线等多维度可视化呈现,全程代码实操与原理详解结合。同时借助 PCA 降维实现决策边界可视化,帮助读者透彻理解 MLP 运行逻辑,为深度学习实践提供极具参考价值的范例。

一个不怎么正经的算法工程师的博客~不定期更新一些我所覆盖领域的干货~~~包你满意噢~~ 1550

S32K144后门密钥实战:如何用JLINK脚本绕过复位陷阱更新加密固件

本文详细介绍了在S32K144微控制器上,如何利用JLINK脚本绕过调试器默认复位陷阱,实现通过后门密钥安全更新加密固件的实战方案。针对汽车电子现场维护中常见的“解锁-复位-锁定”循环问题,文章提供了完整的JLinkScript定制方法、批处理工具及故障排除指南,帮助工程师高效完成固件升级。

weixin_29175469的博客 153

Labview项目01:标准可配置序列测试框架

摘要:本文介绍了一个基于LabVIEW2020开发的通用测试框架系统。该系统采用模块化设计,包含主界面、调试界面、设置界面和登录界面。主功能包括:1)可配置测试序列,支持延时、预定值输出、随机值输出等操作;2)单步测试功能自主添加;3)界面支持测试序列编辑和权限管理。系统采用队列机制处理事件和测试流程,通过CSV文件存储测试序列,支持参数化配置。用户可自定义测试VI(A_.vi和N_.vi格式),并通过调试界面验证测试序列。最终测试结果在主界面显示,提供整体判断功能。该系统既可作为学习参考,也可用于实际测试

weixin_38637405的博客 1555

一文读懂感知机(原理推导)

前言 第二章的内容是介绍了一个线性分类器:感知机。第二章的重点内容我认为有以下几点: 感知机的基本信息(输入,输出,适用范围,假设空间) 感知机的学习策略 感知机收敛性证明 感知机的对偶形式的理解 感知机的基本信息 输入 z zz ...

qq_33397016的博客 471

RK3568笔记二:部署手写数字识别模型

部署手写数字识别模型,使用手写数字识别(mnist)数据集训练了一个 LENET 的五层经典网络模型。Lenet是我们的深度学习入门的必学模型,是深度学习领域中的经典卷积神经网络(CNN)架构之一。过程分为:训练,导出ONNX,转化RKNN,测试。

1172

一文读懂AI语言模型

本文系统介绍了AI语言模型的发展历程、核心技术原理及典型应用。从早期的统计语言模型(如N-gram)到神经网络语言模型(RNN、LSTM),再到革命性的Transformer架构,详细解析了自注意力机制等关键技术。文章重点分析了主流模型如GPT、BERT、T5等的特点,并提供了BERT情感分类的PyTorch微调代码示例。最后通过Hugging Face库演示了GPT-2文本生成实践,为读者提供了从理论到实践的完整学习路径,适合NLP研究者和开发者参考。(摘要字数:149字)

百锦再的博客 2555

【Claude】Not logged in · Please run /login 报错已解决

意味着 Claude Code 没有找到任何有效凭证。直接/login——交互式首选;检查——排查环境变量污染;CI 用——自动化场景标准方案;macOS Keychain 异常——/logout/login重置;时钟偏差——校准系统时间。参考:Claude Code 官方《错误参考》"身份验证"章节、官方认证优先级文档、社区 Token 过期排查记录。

博客 1万+

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

多层感知机

多层感知机通过增加隐藏层和使用激活函数,突破了感知机只能处理线性问题的局限,成为深度学习的基础模型。它的核心是通过前向传播和反向传播,不断调整参数来优化模型,同时要避免过拟合和欠拟合的问题。常用的激活函数有 Sigmoid、Tanh、ReLU,处理多分类任务时会用到 Softmax 函数,而隐藏层数量和每个隐藏层的大小,是需要我们根据任务调整的超参数。

mez666的博客 908

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

一文读懂:AI大模型!

近年来,随着深度学习技术的迅猛发展,AI大模型已经成为人工智能领域的重要研究方向和热点话题。AI大模型,指的是拥有巨大参数规模和强大学习能力的神经网络模型,如BERT、GPT等,这些模型在自然语言处理、计算机视觉等领域取得了令人瞩目的成果。AI大模型的意义不仅在于其巨大的参数规模和学习能力,更在于它们对于解决现实世界复杂问题的潜力。这些模型可以通过大规模数据的学习,自动发现数据之间的关联性和特征,从而实现对文本、图像等数据的高效处理和理解。

python12345_的博客 1819

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

一文读懂Powerful-GNNs中的多层感知机(MLP)设计

Powerful-GNNs是一个专注于图神经网络(GNN)研究的开源项目,其中多层感知机(MLP)作为基础组件在图节点特征学习和图分类任务中发挥着关键作用。本文将深入解析Powerful-GNNs项目中MLP的设计原理、实现细节及实际应用,帮助新手快速掌握这一核心组件的工作机制。 ## MLP在Powerful-GNNs中的核心作用 在图神经网络中,MLP主要负责对节点特征进行非线性变换和维度

gitblog_01091的博客 478

对感知机算法的学习和理解

感知机定义线性可分感知机模型的定义感知机模型的学习损失函数学习算法原始形式对偶形式梯度下降法 定义 感知机模型是一种要求训练样本线性可分的二分类模型。 线性可分 对于训练样本集T=(x1,y1),(x2,y2),...,(xn,yn),yi={−1,1}T={(x_1,y_1),(x_2,y_2),...,(x_n,y_n)},y_i=\{-1,1\}T=(x1​,y1​),(x2​,y2​),...,(xn​,yn​),yi​={−1,1},如果存在一个超平面wx+b=0wx+b=0wx+b=0,使得样本

shenbo12的博客 518
上一篇: 哈工大《机器学习理论与算法》课程总结
下一篇: 一文读懂K近邻(KNN)模型
coder_kang
博客等级 码龄7年 29粉丝 6原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值