机器学习算法之线性判别分析(LDA多分类)

算法原理

紧接着上文：https://blog.youkuaiyun.com/just_sort/article/details/102690086 。在上文我们使用LDA实现了一个二分类任务。那么数据有大于2种类别，假设为C类，这时候怎么办呢？在上文我们定义的“类间散度矩阵”
$S_b=({\mu }_1-{\mu }_2)({\mu }_1-{\mu }_2{)}^T$
就不再适用，所以我们这里引入“全局散度矩阵”：
St=Sw+Sb=∑i=1n(xi−μ)(xi−μ)TS_{t}=S_{w}+S_{b}=\sum_{i=1}^{n}(x_{i}-\mu)(x_{i}-\mu)^{T}St​=Sw​+Sb​=∑i=1n​(xi​−μ)(x