机器学习笔记之线性判别分析（LDA）

最新推荐文章于 2025-05-18 09:00:00 发布

原创

最新推荐文章于 2025-05-18 09:00:00 发布 · 895 阅读

·

1

·

CC 4.0 BY-SA版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

文章标签：

#机器学习 #线性判别分析 #LDA

写在前面：本文主要内容是LDA在机器学习领域的公式推导，仅当作笔记使用。

1. 简介

LDA（Linear Discriminant Analysis）是一种经典的线性学习方法，该算法属于监督算法。
给定训练集，设法将训练集投影到低维空间上，从而达到了降维的效果。
投影的结果要使同类样例的投影点尽可能接近、异类的投影点尽可能远离（同类相近、异类远离原则）。
下图给出了二维训练集投影到一维直线的效果图（图片来自《机器学习》周志华）

2. 算法内容（二分类）

给定数据集,其中。并定义：
- 第i类（1或0）示例的集合为 $X_{i}$
- 第i类示例集合的均值向量为 $\mu _{i}$
- 第i类示例集合的协方差矩阵 $\Sigma _{i}$
- 投影目标直线为 $\omega$
- 综上可以得到
  - 两类样本中心在 $\omega$ 上的投影分别为 $\omega ^{T}\mu _{0}$ 和 $\omega^{T}\mu_{0}$
  - 两类样本协方差分别为 $\omega ^{T}\Sigma _{0}\omega$ 和 $\omega^{T}\Sigma _{1}\omega$
  - 直线为一维空间，则上述4项皆为实数
考虑同类相近、异类远离的原则，则只尽量同时需要满足1.同类样本协方差尽可能小；2.异类样本中心点尽可能远离。
- 协方差尽可能小即 <

最低0.47元/天解锁文章

200万优质内容无限畅学

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。