fisher线性判别分析【有监督的降维算法】阅读笔记

fisher线性判别分析【有监督的降维算法】

《模式分类》、《百面机器学习》
也称LDA。

一维判别分析

PCA方法寻找的是用来有效表示的主轴方向，而判别分析方法（discriminant analysis）寻找的是用来有效分类的方法。

可分性分析的目标：通过适当的选择投影直线，找到能够最大限度的区分各类数据点的投影方向。

假设我们有一组$n$个$d$维的样本${\vec{x}}_1,\cdots ,{\vec{x}}_n$，它们分属于两个不同的类别，即大小为$n_1$的样本子集${\mathcal{D}}_1$属于${\omega }_1$，大小为$n_2$的样本子集${\mathcal{D}}_2$属于${\omega }_2$。如果对$\vec{x}$中的各个成分作线性组合，就得到点积，结果是一个标量

$$y={\vec{w}}^T\vec{x}$$

这样，全部的$n$个样本${\vec{x}}_1,\cdots ,{\vec{x}}_n$产生了$n$个结果$y_1,\cdots ,y_n$，相应的属于集合${\mathcal{Y}}_1$和${\mathcal{Y}}_2$。这里，$w$的方向非常重要，而相应的幅值不是很重要，可取$\Vert w{\Vert }_2=1$。

现在我们来讨论如何确定最佳的直线方向$\vec{w}$，以达到最好的分类效果。一个用来衡量投影结果的分离程度的度量是样本均值的差。如果$m_i$为$d$维样本均值：

$${\vec{m}}_i=\frac{1}{n_i}\sum _{\vec{x}\in {\mathcal{D}}_i}\vec{x}$$

那么投影后的点的样本均值为

$${\tilde{m}}_i=\frac{1}{n_i}\sum _{y\in {\mathcal{Y}}_i}y=\frac{1}{n_i}\sum _{\vec{x}\in {\mathcal{D}}_i}{\vec{w}}^T\vec{x}={\vec{w}}^T{\vec{m}}_i$$

投影后的点的样本均值之差为$|{\tilde{m}}_1-{\tilde{m}}_2|=|{\vec{w}}^T({\vec{m}}_1-{\vec{m}}_2)|$.

我们可以增大$\vec{w}$的幅值得到任意大小的投影样本均值之差。但投影样本均值之差的大小总是相对而言的，否则问题就失去了意义。我们定义类别${\omega }_i$的类内散布（即，投影后的平方差）如下：

s~i2=∑y∈Yi(y−m~i)2\tilde{s}_{i}^{2} = \sum_{y \in \mathcal{Y}_{i}}(y - \tilde{m}_{i})^{2}s~i2​=