机器学习之线性判别分析LDA

线性判别分析（Linear Discriminant Analysis, 简称LDA）是一种经典的线性学习方法，LDA算法既可以用来监督式的降维，也可以用来分类。
注意：LDA主题模型是指文本建模的文档主题生成模型，LDA是Latent Dirichlet Allocation的简称。

1模型优化

LDA思想：给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离。

欲使同类样例的投影点尽可能接近，可以让同类样例投影点的协方差尽可能小，即$w^T{\sum }_{0}w+w^T{\sum }_{1}w$尽可能小；
而欲使异类样例的投影点尽可能远离，可以让类中心之间的距离尽可能大，即