分类模型与算法--线性判别分析

一、概述

线性判别分析（Linear Discriminant Analysis,简称LDA）是一种经典的线性学习方法，在二分类问题上最早由Fisher提出，故又称“Fisher判别分析”。
LDA的思想：给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离；在对测试集点进行分类时，将其投影到同样的这条直线上，根据投影点的位置来确定样本的类别。
如下图所示：

LDA既可以用来做线性分类，也可以单纯用来对数据进行降维。

二、实例

这里仅展示如何使用R语言，用LDA方法解决二分类问题。
R语言中MASS包中的lda函数可以实现该算法。这里采用天气预报数据进行演示。

> #数据录入
> G<-c(rep(1,10),rep(2,10))
> x1=c(-1.9,-6.9,5.2,5.0,7.3,6.8,0.9,-12.5,1.5,3.8,0.2,-0.1,0.4,2.7,2.1,-4.6,-1.7,-2.6,2.6,-2.8)