线性判别分析LDA

本文详细介绍了线性判别分析(LDA),包括LDA的基本概念、二维示例、二分类LDA的数学推导及代码实现,并探讨了多分类LDA的情况。LDA通过寻找投影方向,使同类样本点尽可能紧凑,异类样本点尽可能分离,从而实现分类和降维。然而,LDA在降维有限、Sw奇异以及非所有类别可分等问题上存在局限性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一 LDA简介

1.点在直线上的投影

先回顾一下几何的知识,因为LDA采用了向量投影的方式将样本点投影在直线上。
在这里插入图片描述

假设P点是一个样本,我们想把P点投影到绿色的虚线上。考虑用向量投影,即OP→\overrightarrow{OP}OP 投影到 OM→\overrightarrow{OM}OM 上,投影为∣OM→∣=∣OP→∣cosθ=∣OP→∣OP→∗OM→∣OP→∣∣OM→∣=OP→∗u→|\overrightarrow{OM}|=|\overrightarrow{OP}|cos\theta=|\overrightarrow{OP}|\cfrac{\overrightarrow{OP}*\overrightarrow{OM}}{|\overrightarrow{OP}||\overrightarrow{OM}|}=\overrightarrow{OP}*\overrightarrow{u}OM =OP cosθ=OP OP OM OP OM =OP u ,其中u→\overrightarrow{u}u 是绿色虚线的单位向量。投影后的坐标M,即OM→=OP→∗u→∗u→\overrightarrow{OM}=\overrightarrow{OP}*\overrightarrow{u}*\overrightarrow{u}OM =OP u u

用线性代数的记法来表示向量:w=(w1,w2)Tw=(w_1,w_2)^Tw=(w1,w2)T为2维列向量,表示投影直线的单位向量;令x=(x1,x2)Tx=(x_1,x_2)^Tx=(x1,x2)T为2维列向量,表示一个数据样本。那么该样本在直线上的投影为:z=wTxz=w^Txz=wTx,投影坐标为Z=x∗wT∗wZ=x*w^T*wZ=xwTw

2.LDA思想

LDA的思想很朴素:给定一个训练样本集,它设法将所有样本投影到一条过原点的直线上(必须过原点,因为向量投影只适用于过原点的直线),使得同类的投影点尽可能紧凑,异类的投影点尽可能的分开。 这个过程中投影实现了降维,投影点同近异远的性质实现了分类,故LDA是一个分类和降维的算法。下面给出一个二维的示意图:
在这里插入图片描述
所以,LDA的目标就是找到这样一条直线。如何找?以二维样本为例,投影后的数据为z=wTxz=w^Txz=wTx,直线方程为y=kx,k=w2w1y=kx,k=\cfrac{w_2}{w_1}y=kx,k=w1w2xxx是样本我们已知,故LDA就是在求解最佳的www,几何的解释就是在求解最佳的一个单位向量。

二 2-分类LDA

1.数学推导

给定数据集D={ (xi,yi)}i=1mD=\begin{Bmatrix}(x_i,y_i) \end{Bmatrix}_{i=1}^mD={ (xi,yi)}i=1m,令Xi,ui,ZiX_i,u_i,Z_iXi,ui,Zi分别表示第i∈(0,1)i\in(0,1)i(0,1)类的集合、均值列向量和投影集合,令ui~\tilde{u_i}ui~表示第iii类投影后的均值,有:
ui=1Ni∑x∈Xixui~=1Ni∑z∈Ziz=1Ni∑x∈XiwTx=wTui \begin{aligned} u_i&=\cfrac{1}{N_i}\sum_{x\in X_i}x \\ \tilde{u_i}&=\cfrac{1}{N_i}\sum_{z\in Z_i}z=\cfrac{1}{N_i}\sum_{x\in X_i}w^Tx=w^Tu_i \end{aligned} uiui~=Ni1xXi

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值