fisher线性判别分析【有监督的降维算法】阅读笔记

fisher线性判别分析【有监督的降维算法】

《模式分类》、《百面机器学习》
也称LDA。

一维判别分析

PCA方法寻找的是用来有效表示的主轴方向,而判别分析方法(discriminant analysis)寻找的是用来有效分类的方法。

可分性分析的目标:通过适当的选择投影直线,找到能够最大限度的区分各类数据点的投影方向。

假设我们有一组nnnddd维的样本x⃗1,⋯ ,x⃗n\vec{x}_{1}, \cdots, \vec{x}_{n}x 1,,x n,它们分属于两个不同的类别,即大小为n1n_{1}n1的样本子集D1\mathcal{D}_{1}D1属于ω1\omega_{1}ω1,大小为n2n_{2}n2的样本子集D2\mathcal{D}_{2}D2属于ω2\omega_{2}ω2。如果对x⃗\vec{x}x 中的各个成分作线性组合,就得到点积,结果是一个标量

y=w⃗Tx⃗y = \vec{w}^{T}\vec{x}y=w Tx

这样,全部的nnn个样本x⃗1,⋯ ,x⃗n\vec{x}_{1}, \cdots, \vec{x}_{n}x 1,,x n产生了nnn个结果y1,⋯ ,yny_{1}, \cdots, y_{n}y1,,yn,相应的属于集合Y1\mathcal{Y}_{1}Y1Y2\mathcal{Y}_{2}Y2。这里,www的方向非常重要,而相应的幅值不是很重要,可取∥w∥2=1\|w\|_{2} = 1w2=1

现在我们来讨论如何确定最佳的直线方向w⃗\vec{w}w ,以达到最好的分类效果。一个用来衡量投影结果的分离程度的度量是样本均值的差。如果mim_{i}middd维样本均值:

m⃗i=1ni∑x⃗∈Dix⃗\vec{m}_{i} = \frac{1}{n_{i}}\sum_{\vec{x}\in\mathcal{D}_{i}}\vec{x}m i=ni1x Dix

那么投影后的点的样本均值为

m~i=1ni∑y∈Yiy=1ni∑x⃗∈Diw⃗Tx⃗=w⃗Tm⃗i\tilde{m}_{i} = \frac{1}{n_{i}} \sum_{y\in\mathcal{Y}_{i}}y =\frac{1}{n_{i}}\sum_{\vec{x}\in\mathcal{D}_{i}}\vec{w}^{T}\vec{x} = \vec{w}^{T}\vec{m}_{i}m~i=ni1yYiy=ni1x Diw Tx =w Tm i

投影后的点的样本均值之差∣m~1−m~2∣=∣w⃗T(m⃗1−m⃗2)∣|\tilde{m}_{1} - \tilde{m}_{2}| = |\vec{w}^{T}(\vec{m}_{1} - \vec{m}_{2})|m~1m~2=w T(m 1m 2).

我们可以增大w⃗\vec{w}w 的幅值得到任意大小的投影样本均值之差。但投影样本均值之差的大小总是相对而言的,否则问题就失去了意义。我们定义类别ωi\omega_{i}ωi类内散布(即,投影后的平方差)如下:

s~i2=∑y∈Yi(y−m~i)2\tilde{s}_{i}^{2} = \sum_{y \in \mathcal{Y}_{i}}(y - \tilde{m}_{i})^{2}s~i2=

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值