OnePlus+博客

线性判别式算法（LDA）LDA算法和PCA算法都是一种数据压缩的算法，由于前者属于无监督学习而后者属于监督学习，根据任务的不同，因而它们的侧重点不同，PCA算法关心的是原数据与新数据之间的最小重构误差，而LDA算法关注的是数据压缩后类别间的区分度。从上图中可以看出，LDA算法希望找到一个投影的方向，使得类别间中心点尽可能分散，而每一类的样本尽可能聚集，如果说PCA算法的优化准则是最小重构误差，则LDA的准则就是最小化类内方差、最大化类间均值。那我们该如何去选择这个投影方向呢？我们不妨先从数学原理出发

在机器学习中，很多问题最终都可以归结为一个优化问题，对于不同情况的优化问题的求解，我总结了常见情况下的几种解决方案：针对无约束优化的梯度下降法和牛顿法、针对等式约束优化问题的朗格朗日乘子法以及不等式约束优化问题的KKT条件。