机器学习线性判别分析（linear discriminant analysis）

最新推荐文章于 2025-04-02 14:37:45 发布

踏雪无痕js

最新推荐文章于 2025-04-02 14:37:45 发布

阅读量1.5k

点赞数 2

分类专栏：学习记录文章标签：机器学习 LDA

本文链接：https://blog.youkuaiyun.com/u013708703/article/details/81103411

版权

线性判别分析（LDA）是一种用于分类数据降维的方法，旨在保持类内距离小且类间距离大。模型通过最大化类间方差与最小化类内方差来确定降维后的超平面。在代码实现中，LDA能有效地将高维数据映射到低维空间，使得数据分类更加明显。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、基本原理

1. 模型形式

LDA模型主要用于分类数据的降维，往往每个样本会有很多属性以及一个所属类别，假设有d个属性，那么样本空间就是d维的，通过LDA模型可以将d维数据投影到某个超平面，从而降低维度。这个超平面也不是随便选择的，它需要同一类的样本投影到超平面后距离尽量小，同时，不同类的样本投影到超平面后距离又要尽量大。说白了就是映射到超平面后，相当于聚了个类，同一类的尽量待在一块，不同类尽量隔开。

假设数据集 $D=\left \{ (x_1,y_1),(x_2,y_2),...,(x_m,y_m) \right \}$ ，对于每个样本 $x_i$ 有n个属性，那么降维后的样本如下所示

$Z=W^TX$

其中 $Z=\begin{bmatrix} z_{11} &z_{12} &... &z_{1m} \\ z_{21} &z_{22} &... &z_{2m} \\ ... &... &... &... \\ z_{d1} &z_{d2} &... &z_{dm} \end{bmatrix}$ ，