阅读本文需要的背景知识点：线性判别分析、一丢丢编程知识
一、引言
前面两节介绍了线性判别分析在不同角度下的实现方式，一种是根据费舍尔“类内小、类间大”的角度，另一种则是从概率分布的角度。本节来介绍另一种判别分析——二次判别分析算法1（Quadratic Discriminant Analysis Algorithm / QDA）
二、模型介绍
同线性判别分析一样，从概率分布的角度来得到二次判别分析，区别在于线性判别分析假设每一种分类的协方差矩阵相同，而二次判别分析中每一种分类的协方差矩阵不同。
（1）同线性判别分析一样，我们的目的就是求在输入为 x 的情况下分类为 k 的概率最大的分类，所以我们可以写出假设函数如下图（1）式
（2）对其概率取对数，不影响函数的最后结果
（3）带入上面的 P ( k ∣ x ) P(k|x) P(k∣x) 的表达式，由于 P ( x ) P(x) P(x) 对最后结果也没有影响，也可以直接去掉
（4）带入多元正态分布的概率密度函数表达式，注意这里与线性判别分析的不同，协方差矩阵在每一种类型下是不同的
（5）将（4）式中的对数化简得到
（6）这时就不能和线性判别分析一样去掉第二项了，而是要保留其中协方差矩阵行列式的部分，得到最后的结果
h ( x ) = argmax k P ( k ∣ x ) ( 1 ) = argmax k ln P ( k ∣ x ) ( 2 ) = argmax k ln f k ( x ) + ln P ( k ) ( 3 ) = argmax k ln ( e − ( x − μ k ) T Σ k − 1 ( x − μ k ) 2 ∣ Σ k ∣ 1 2 ( 2 π ) p 2 ) + ln P ( k ) ( 4 ) = argmax k − 1 2 ( x − μ k ) T Σ k − 1 ( x − μ k ) − ln ( ∣ Σ k ∣ 1 2 ( 2 π ) p 2 ) + ln P ( k ) ( 5 ) = argmax k − 1 2 ( x − μ k ) T Σ k − 1 ( x − μ k ) − 1 2 ln ( ∣ Σ k ∣ ) + ln P ( k ) ( 6 ) \begin{aligned} h(x) &=\underset{k}{\operatorname{argmax}} P(k \mid x) & (1)\\ &=\underset{k}{\operatorname{argmax}} \ln P(k \mid x) & (2)\\ &=\underset{k}{\operatorname{argmax}} \ln f_{k}(x)+\ln P(k) & (3) \\ &=\underset{k}{\operatorname{argmax}} \ln \left(\frac{e^{-\frac{\left(x-\mu_{k}\right)^{T}{\Sigma_{k}^{-1}\left(x-\mu_{k}\right)}}{2}}}{\left|\Sigma_{k}\right|^{\frac{1}{2}}(2 \pi)^{\frac{p}{2}}}\right)+\ln P(k) & (4) \\ &=\underset{k}{\operatorname{argmax}} -\frac{1}{2}\left(x-\mu_{k}\right)^{T} \Sigma_{k}^{-1}\left(x-\mu_{k}\right)-\ln \left(\left|\Sigma_{k}\right|^{\frac{1}{2}}(2 \pi)^{\frac{p}{2}}\right)+\ln P(k) & (5) \\ &=\underset{k}{\operatorname{argmax}} -\frac{1}{2}\left(x-\mu_{k}\right)^{T} \Sigma_{k}^{-1}\left(x-\mu_{k}\right)-\frac{1}{2} \ln \left(\left|\Sigma_{k}\right|\right)+\ln P(k) & (6) \end{aligned} h(x)=kargmaxP(k∣x)=kargmaxlnP(k∣x)=kargmaxlnfk(x)+lnP(k)=
最低0.47元/天 解锁文章
扫一扫
6127
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
