判别分析基础

1. 与聚类分析的比较
   判别分析是判别样品所属类型的一种统计方法。
   判别分析与聚类分析不同,判别分析是在已知研究对象分成若干类型(或组别)并已取得各种类型的一批已知样品的观测数据。在实际中判别分析和聚类分析往往联合起来用，当总体分类不清楚时,可先用聚类分析对原来的一批样品进行分类，然后再用判别分析建立判别式以对新样品进行判别。

2. 判别分析基本思想：样品和哪个总体距离最近,就判断它属于哪个总体。距离判别也称为直观判别。

   （一）距离判别法
   对各类总体的分布并无特定要求
   基本思想：首先根据已知分类的数据,分别计算各类的重心即分组(类)的均值；
   判别准则：对任给的一次观测,若它与第i类的重心距离最近,就认为它来自第i类。
   分两种情况，如果各类协方差阵相等，则建立的判别函数为线性判别函数；如果各类协方差阵不相等，则建立的判别函数为二次函数。

   （二）Fisher判别法
   按类内方差尽量小,类间方差尽量大的准则来求判别函数的。
   该方法的基本思想是投影，即将原来空间的自变量组合投影到维度较低的空间去，然后再进行分类。（线性判别法LDA）
   注意：
   构造判别式的样品个数必须至少是指标个数的两倍；构造判别式的样品个数不宜太少，否则会影响判别式的优良性；其次判别式选用的指标不宜过多，指标过多不仅使用不方便，还会影响预报的稳定性，在建立判别式之前，应挑选对分类特别有关系的指标。

   （三）Bayes判别法
   首先需要知道待判总体的先验概率和密度函数(概率函数)，当取得样本后,就可以用样本来修正已有的先验概率分布，得出后验概率分布，通过后验概率分布进行各种统计推断。

   实际中遇到的许多总体往往服从正态分布，所以常用的是正态总体的判别函数，此时分两种情况：一是假设所有总体的协方差阵相等，这时的判别函数为线性判别函数，即判别函数是从各类合并的协方差阵得来；二是所有总体的协方差阵不等，此时的判别函数为非线性判别函数，即判别函数是从各类协方差阵得来。
   如果总体的分布未知或不服从正态分布，可用非参数方法，来估计类别密度实现分类。此类非参数法包括(kerne