线性分类模型(一):线性判别模型分析

机器学习-03 线性模型 3、线性模型 谈及线性模型,其实我们很早就已经与它打过交道,还记得高中数学必修3课本中那个顽皮的“最小二乘法”吗?这就是线性模型的经典算法之一:根据给定的(x,y)点对,求出一条与这些点拟合效果最好的直线y=ax+b,之前我们利用下面的公式便可以计算出拟合直线的系数a,b(3.1中给出了具体的计算过程),从而对于一个新的x,可以预测它所对应的y值。前面我们提到:在机器学习的术语中,当预测值为连续值时,称为“回归问题”,离散值时为“分类问题”。本篇先从线性回归任务开始,接着讨论分类和多分类问题。 . 阅读详情

前言

前几篇文章介绍了线性回归算法,线性分类模型分为判别式模型和生成式模型,本文首先简单复习了与算法相关的数学基础知识,然后分析各线性判别式分类算法,如最小平方法,Fisher线性判别法和感知器法,最后总结全文。

                                                                    目录


1、相关的数学知识回顾

2、判别式模型和生成性模型

3、最小平方法

4、Fisher线性判别函数

5、感知器算法

6、总结

 

                                                             相关数学知识回顾


1、直线方程和平面方程

 

拓展到分类思想:直线l为分类决策方程,坐标点落在直线l上方时,则分类为C1;坐标点落在直线l下方时,则分类为C2(如下图)。

                                                             

平面方程类似,在这里不展开。

2、点到直线和点到平面的距离

点到直线的距离:

 

点到平面的距离

 

拓展到分类思想:平面方程为决策方程,正确分类的情况下,当点P到决策方程的距离越大,则分类模型越好;错误分类的情况下,点P到决策方程的距离作为损失函数,损失函数最小化过程即是模型参数最优化过程。

3、向量内积的数学意义

 

几何意义:向量A与向量B的内积等于向量A在向量B的投影与向量B的乘积,当向量B是单位向量时,则等于向量A在单位向量方向的投影,单位向量类似于基函数或者可以理解成坐标轴,即向量A在向量B的投影可理解成向量A在向量B方向的坐标,如下图,B'是B在OA坐标轴方向的投影。

拓展到分类思想:C1与C2属于不同的类,给定一条决策性直线l,当C1与C2在直线L2的投影间距越大,则分类效果越好。增加不同类间的距离可以作为模型参数优化的方向。

如下图,C1和C2的在直线L2的投影距离|C1"C2"|大于|C1'C2'|,因此决策方程直线L2优于直线L1.

                                                            

4、梯度下降法

 

函数f(x0,x1,...,xn)在梯度方向是函数值变化(增加或减少)最快的方向(本文只给出结论,后续文章会有详细的说明)。

拓展到分类思想:损失函数最小化过程即是模型参数最优化过程,损失函数最小化可通过梯度下降法来实现,当迭代到一定程度,损失函数收敛,则迭代结束,参数w即是要求的最优参数。

流程图如下:

 

                                               判别式模型和生成性模型


我们常把分类问题分成两个阶段:推断阶段和决策阶段,对于输入变量x,分类标记为Ck。推断阶段和决策阶段具体表示为:

推断阶段:估计P(x,Ck)的联合概率分布,对P(x,Ck)归一化,求得后验概率P(Ck|x)。

决策阶段:对于新输入的x,可根据后验概率P(Ck|x)得到分类结果。

判别式模型和生成性模型的区别

判别式模型:简单的学习一个函数,将输入x直接映射为决策,称该函数为判别式函数。

生成式模型:推断阶段确定后验概率分布,决策阶段输出分类结果,生成式模型包含两个阶段。

本文介绍判别式线性分类模型的三种算法。

                                                              最小平方法


最小平方法与最小二乘法的算法思想类似,K类判别函数由K个方程决定,

训练集,K类判别函数为,k=1,2,...,K

参数矩阵为,目标矩阵。

 

求得最优参数w后,输入变量x所属K类的判别方法如下:

 

                                                     Fisher线性判别函数


第一节讲到,若两个类在同一个决策方程的投影距离相隔越大,则该决策方程越好。再深入一点,相同类投影到决策方程的方差越小,则该决策方程越好,方差代表类投影到决策方程的聚集程度。这就是Fisher线性判别法参数优化思想。

参数优化思想:同类样本投影到决策方程的方差最小,不同类样本投影到决策方程的均值间隔最大。用表达式J(w)表示,J(w)越大越好。

 

如下图:

其中,m1,m2分别表示不同类在决策方程的投影均值;S1,S2分别表示不同类投影到决策方程的方差。

 

求得最优参数w后,输入变量x所属类的判别方法如下:

                                                                 感知器算法


感知器算法的目的是找到能够准确分离正负样本训练数据集的超平面。

超平面定义:

 

感知器学习策略:

对训练数据集某一样本点(x,y),若wx+b>0,则y=1;若wx+b<0,则y=-1;

即感知机模型为:

因此,对于误分类的数据(xi,yi)来说:

 

因此,感知器学习策略是最小化误分类点到平面S的距离,不考虑分母项。

假设训练数据集有M个误分类点,损失函数为:

 

运用梯度下降算法最小化损失函数L(w,b)。

 

设学习率η,感知器学习策略步骤:

(1)、选取处置w0,b0;

(2)、选取训练集(xi,yi);

(3)、如果yi(w*xi+b)<=0,则更新权值参数w,b:

                                                               

 (4)、转至(2),直至训练数据集没有误分类点,得到超平面最优参数w,b。

 

感知机学习算法由于采用不同的初值或选取不同的误分类点,参数解可能不同(例题可参考《统计学习方法》)。

因此,对某一输入点,若感知机模型大于0,则分类为1;反之分类为-1。

                                                               总结


本文介绍了线性判别分类的三种方法,第一种判别方法是根据点到判别函数的距离来分类,,第二种方法是根据输入样本在判别函数的投影距离进行分类,第三种方法则采用感知机模型进行分类。

参考

Christopher M.Bishop <<Pattern Reconition and Machine Learning>>

李航  《统计学习方法》

                                                                 

 

对率回归与线性判别分析:西瓜数据集3.0α上2种线性模型性能对比 本文对比了对率回归(Logistic Regression)和线性判别分析(LDA)在西瓜数据集3.0α上的性能表现,详细介绍了两种模型的实现方法及实验结果。通过准确率、精确率等指标分析,发现LDA在小样本数据上表现略优,而对率回归适用性更广。文章还提供了模型选择建议,帮助读者根据实际需求选择合适的线性分类模型。 阅读详情

相关推荐

48、线性分类模型:从最小二乘法到Fisher线性判别

本文深入探讨了线性分类模型中的最小二乘法、逻辑回归与Fisher线性判别方法。通过对比分析,揭示了最小二乘法对异常值敏感、在多类分类中表现不佳的问题,而逻辑回归和Fisher线性判别则表现出更好的鲁棒性和分类性能。重点介绍了Fisher线性判别的原理,包括其通过最大化类间方差与类内方差比值来寻找最优投影方向的机制,并展示了其在模式识别、生物信息学和金融等领域的应用。最后提供了根据不同数据特征和任务需求选择合适线性分类模型的实践建议。

android的专栏 50

机器学习笔记之线性分类——线性判别分析(一)模型构建思路

上一节介绍了线性分类中硬分类的代表方法——感知机算法(Perceptron),本节将介绍硬分类中的另一种经典算法——线性判别分析(Linear Discriminant Analysis)。

静静的学习就好 1282

47、线性分类模型:原理、方法与挑战

本文系统介绍了三种线性分类模型的核心方法:最小二乘法、Fisher 线性判别和感知机算法。文章首先分析了多类线性判别的决策区域特性,随后详细阐述了每种方法的原理、模型表示、求解过程及其优缺点,并通过流程图和表格对比了各类方法的适用场景与性能差异。最后总结指出,不同方法各有侧重,应根据数据特征和实际需求选择合适模型,同时展望了未来在鲁棒性提升和复杂应用中的发展方向。

android的专栏 38

机器学习(一)贝叶斯判别式

机器学习(一)贝叶斯判别式 2018/2/13 by Chenjing Ding 符号 含义 CkCkC_k 第k类 p 概率密度 P(Ck)P(Ck)P(C_k) 第k类的概率。本文中的概率密度和概率在公式推导时已严格区分 x 输入数据;可为训练样本(已知类别)或者待分类数据(未知类别),为变量 qqq 输入...

qq_26386707的博客 2026

PRML || 4. 线性分类模型 | 4.1 判别函数

分类问题可以分为两分类和多分类问题,是机器学习中的典型算法

weixin_40234309的博客 915

南京邮电大学《数学实验》模块二(函数的迭代)参考答案

【代码】南京邮电大学《数学实验》模块二(函数的迭代)参考答案。

qq_1293730064的博客 3万+

经典分类:线性判别分析模型!

↑↑↑关注后"星标"Datawhale每日干货&每月组队学习,不错过Datawhale干货作者:小雨姑娘,康涅狄格大学,Datawhale成员这几天看了看S...

Datawhale 1751

VSCode玩转STM32:手把手教你配置EIDE插件与OpenOCD调试(附野火DAP配置文件详解)

本文详细介绍了如何在VSCode中配置EIDE插件与OpenOCD进行STM32开发,特别针对野火DAP调试器提供了配置文件详解。从基础环境搭建到深度调试技巧,帮助开发者高效完成STM32项目开发,实现现代化嵌入式开发工作流。

weixin_26905487的博客 553

[机器学习] 线性分类 -- 判别模型

这是因为逻辑回归是基于极大似然估计进行参数估计的,而在类别完全分离的情况下,似然函数可能不会收敛,导致估计的参数值非常大,从而影响模型的稳定性。这是因为 LDA 在建模时对数据分布有一定的假设(即每个类别的数据都服从正态分布,且各类别的数据具有相同的协方差矩阵),在满足这些假设的情况下,LDA 的表现通常会更好。这种情况下的决策边界是线性的,这也就是 LDA 的名字所来源。其中,n 是总的样本数,K 是类别的数量,n_k 是类别 k 的样本数,x_i 是第 i 个样本,y_i 是第 i 个样本的类别。

华北小龙虾的博客 598

蓝桥杯FPGA赛道积分赛

代码如下: 按键驱动 代码如下 按键驱动 代码如下: 顶层文件 按键驱动 数码管驱动 声明:本代码借鉴网络资料,如有侵权和错误请联系作者删除。我是从寒假开始备赛的,由于我基础不行,备赛过程中也是混混呃呃的,备赛效率不高,总体来说备赛不认真,有点拖拉,但是最后我也坚持备赛到了今天,在备赛过程中,即复习了旧的东西,也学到了新的东西,总结起来还是有点收获的,后天北京、天津、河北地区就要进行省赛了,我会全力以赴,不管结果怎么样,尽力就好,最后祝大家都能

weixin_69804913的博客 2002

游戏服务器框架之跨服(一)

如今的游戏开发,不搞个跨服玩法都不好意思说在做游戏了(当然,也跟游戏类型有关,一些轻度休闲游戏可以排除在外)。跨服玩法的设计,可以进一步激发玩家追求高战力的虚荣心,也可以汇聚玩家数量,避免单服日活跃低呈现死服现象。 几种常见的跨服玩法拓扑结构 一,不同游戏服的玩家进入中立服务器进行战斗,例如跨服天梯类玩法。 游戏服有很多个节点,中心服务器也有很多节点。只要保证对战的双方同时进入同一个中心服游戏进程即可。 二,若干个游戏服组成一个社区,全部服务器包含多个社区,例如世界服玩法。 三,游戏服A玩

littleschemer的博客 5777

fisher线性判别_线性判别模型分析

线性分类模型分为判别式模型和生成式模型,本文首先简单复习了与算法相关的数学基础知识,然后分析各线性判别式分类算法,如Fisher线性判别法和感知器法,最后总结全文。本文脉络:1、相关的数学知识回顾2、判别式模型和生成式模型3、Fisher线性判别函数4、感知器算法5、总结相关数学知识1、直线方程和平面方程直线方程 (1)P落在直线l上方时, (2)P落在直线l下方时, (3)P落在直线l上时...

weixin_42520580的博客 1418

13、多实例任务(multi instance)

多实例任务,是指一个类型的任务需要循环执行多次,包括串行多实例任务和并行多实例任务。

leyoliu的博客 3203

logit模型应用实例_机器学习笔记(二)——线性回归模型&线性分类模型

模型一、线性模型(linear model)(一)线性回归1.一元线性回归1.1公式表示:f(x)=wxi+b向量形式1.2线性回归模型的好处:简单、可理解1.3线性回归模型因变量是离散变量的处理方法:如果属性是离散的,有序的,则可以编码为0-1-2……,例如西瓜的甜度由不甜-稍甜-特甜,之间有程度的加深,可以比较,因此可以编码为数字,大一点的数字意味着强度更高;如果属性是离散,非有序的,则可以进...

weixin_40003451的博客 1489

YOLOv8极速瘦身实战:LAMP剪枝让模型又快又准

一个庞大的模型虽然强大,但在实际部署,尤其是资源受限的边缘设备(如无人机、移动电话、嵌入式系统)上,却面临着严峻的挑战:高昂的内存占用、巨大的计算量以及随之而来的高延迟和高能耗。本教程从LAMP剪枝的深刻理论出发,详细解释了它如何通过最小化最坏情况下的L2失真,并借助巧妙的数学简化,最终推导出一种高效、无超参数、层自适应的剪枝策略。它如同为臃肿的模型进行一次精准的“瘦身手术”,通过移除网络中冗余或不重要的权重、神经元甚至整个结构,来显著降低模型的参数量和计算量(FLOPs),从而实现推理加速和资源节约。

FJN110的博客 259

2026年数学建模国赛C题利器:层次分析法与主成分分析在统计建模中的应用

本文系统探讨了层次分析法(AHP)与主成分分析(PCA)在数学建模竞赛,特别是全国大学生数学建模竞赛C题中的联合应用策略。通过理论阐述、方法对比和案例实践,本文揭示了两种方法从“数据降维”到“决策评价”的完整分析链条,提出了“PCA+AHP”协同框架,并通过实际算例验证了该框架在解决复杂评价类问题中的有效性和优越性。研究表明,将PCA的客观降维能力与AHP的主观决策优势有机结合,能够显著提升统计建模的科学性、合理性和解释力,是应对日益复杂的竞赛题目的重要方法论工具。关键词:层次分析法;主成分分析;数学建模。

YOLO 41

线性判别分析_简单理解线性判别分析

这几天看了看SVM的推导,看的是真的头疼,所以来写一写自己可以搞明白的线性判别分析,让自己心情好一些。封面:电影《风之谷》线性判别分析是一种线性的分类模型。线性分类模型是指采用直线(或超平面)将样本直接划开的模型,其形式可以表示成 的形式,划分平面可以表示成 。这里可以看出,线性分类模型对于样本的拟合并不一定是线性的,例如逻辑回归(外面套了一层sigmod函数)和感知机(外面套了一层激活函数)...

weixin_39671509的博客 1292

SAP SmartForms字体 :从OTF缓存溢出到完美解决

精准诊断:遇到错误,首先区分是图片过大还是字体嵌入导致。删除图片测试是最快的判别方法。字体上传规范始终从SE73入口上传用于表单打印的字体。强烈建议应用SAP Note 1301018,确保上传时勾选“不替换其他字体”,避免系统自动替换引发的意外问题。如需为同一字体族上传粗体、斜体等变体,请在SE73初始屏幕上勾选对应的属性框(如BOLD),然后分别上传对应的字体文件(如上传过程中,系统会提示输入RTF控制序列信息,这是确保打印预览正常显示的关键步骤,必须正确填写。方案选型快速止血:采用方案一(

Pegasus666的博客 296

线性分类模型

目录 线性分类模型 1 判别函数 2 概率生成模型 3 概率判别模型 4 拉普拉斯逼近 5 贝叶斯逻辑斯蒂回归 线性分类模型 线性分类问题有三种解法,第一种是直接使用判别函数将特征向量关联到某个类别,第二种和第三种分...

weixin_34015566的博客 452

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

lda进行图片分类_机器学习笔记(二)——线性回归模型&线性分类模型

模型一、线性模型(linear model)(一)线性回归1.一元线性回归1.1公式表示:f(x)=wxi+b向量形式1.2线性回归模型的好处:简单、可理解1.3线性回归模型因变量是离散变量的处理方法:如果属性是离散的,有序的,则可以编码为0-1-2……,例如西瓜的甜度由不甜-稍甜-特甜,之间有程度的加深,可以比较,因此可以编码为数字,大一点的数字意味着强度更高;如果属性是离散,非有序的,则可以进...

weixin_33582311的博客 927

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

【AI】机器学习——线性分类模型——逻辑斯蒂回归&Softmax回归

线性分类模型:二分类问题,二分类模型,二分类模型损失函数 sigmod函数 逻辑回归模型 参数求解 逻辑斯蒂回归策略——期望风险最小化 损失函数 多角度分析逻辑回归 Softmax回归 Softmax模型,损失函数,优化算法,Softmax与logistic对比

努力,奋斗! 1238

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

经典机器学习算法:线性判别分析LDA

参考csdn博客:线性判别分析(LDA)基本原理及实现 线性判别分析介绍一、模型二、推导投影第一个条件,方差第二个条件,均值损失函数 一、模型 线性判别分析LDA是二分类的线性分类模型。 LDA是一种监督学习的降维技术,也就是说它的数据集的每个样本是有类别输出的,这点和PCA不同。PCA是不考虑样本类别输出的无监督降维技术。LDA的思想可以用一句话概括,就是“投影后类内方差最小,类间方差最大”,如下图所示。 在 LDA 中,我们要将数据在低维度上进行投影,投影后的数据需要满足两个条件,从而可以更好地分.

weixin_43999137的博客 596

线性判别分类器在图像分类中的应用

1.背景介绍 图像分类是计算机视觉领域中的一个重要任务,其目标是将输入的图像分为多个类别。随着数据量的增加,以及计算能力的提高,图像分类任务已经成为了人工智能领域的一个热门研究方向。线性判别分类器(Linear Discriminant Analysis,LDA)是一种常用的图像分类方法,它基于线性分类模型,通过找到最佳的线性分类超平面来将数据分类。 在本文中,我们将从以下几个方面进行讨论: ...

AI天才研究院 307

线性分类模型(二):logistic回归模型分析

前言 上一篇文章介绍了线性判别模型,本文介绍线性生成模型——logistic回归模型。本文介绍logstic回归模型相关的知识,为了更好理解模型的决策边界函数,本文同时分析了多元变量的协方差对概率分布的影响。 目录 1、logistic回归模型的含义 2、logistic模型的决策边界函数分析 3、logistic模型的参数最优化 3、logistic回归模型与感知机模型的比较 ...

机器学习算法那些事 5337
上一篇: 深入理解线性回归算法(三):浅谈贝叶斯线性回归
下一篇: 线性分类模型(二):logistic回归模型分析
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值