【机器学习】机器学习之线性判别分析(LDA)

一、线性判别分析介绍

  线性判别分析(Linear Discriminant Analysis，简称 $LDA$)是一种经典的线性学习方法，亦称"Fisher 判别分析"。

  线性判别分析思想：给定训练样本集，设法将样例投影到一条直线上。使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远；在对新样本进行分类时，将其投影到该直线上，再根据投影点的位置来确定新样本的类别。

二、线性判别分析原理

  给定数据集 D = { ( x i , y i ) } i = 1 m , y i ∈ { 0 , 1 } D= \{(\pmb{x_i} , y_i) \}^m_{i=1},y_i\in\{ 0,1\} D={ (xi​​xi​​​xi​,yi​)}i=1m​,yi​∈{ 0,1} ，令$X_i$、${\mu }_i\text{μi}{\mu }_i$、${\sum }_i\text{∑i}{\sum }_i$ 分别表示 i ∈ { 0 , 1 } i\in\{0,1\} i∈{ 0,1} 类示例的集合、均值向量、协方差矩阵。若将数据投影到直线 $\omega \text{ω}\omega$ 上，则两类样本的中心在直线上的投影分别为 ${\omega }^T{\mu }_0\text{ωTμ0}{\omega }^T{\mu }_0$ 和 ${\omega }^T{\mu }_1\text{ωTμ1}$