高斯判别分析 Gaussian Discriminant Analysis

如果在我们的分类问题中，输入特征xx是连续型随机变量，高斯判别模型(Gaussian Discriminant Analysis,GDA)就可以派上用场了。

以二分类问题为例进行说明，模型建立如下：

1. 样本输入特征为x∈Rnx∈Rn,其类别y∈{0,1}y∈{0,1}；
2. 样本类别yy服从参数为ϕϕ的伯努力分布，即y∼Bernoulli(ϕ)y∼Bernoulli(ϕ)；
3. 两类样本分别服从不同的高斯分布，即x|y=0∼N(μ0,Σ),x|y=1∼N(μ1,Σ)x|y=0∼N(μ0,Σ),x|y=1∼N(μ1,Σ)；

对应的概率分布形式如下：

p(y)=ϕy(1−ϕ)1−y(1)(1)p(y)=ϕy(1−ϕ)1−y

 

p(x|y=0)=1(2π)n2|Σ|12exp(−12(x−μ0)TΣ−1(x−μ0))(2)(2)p(x|y=0)=1(2π)n2|Σ|12exp⁡(−12(x−μ0)TΣ−1(x−μ0))

p(x|y=1)=1(2π)n2|Σ|12exp(−12(x−μ1)TΣ−1(x−μ1))(3)(3)p(x|y=1)=1(2π)n2|Σ|12exp⁡(−12(x−μ1)TΣ−1(x−μ1))

p(x|y)=1(2π)n2|Σ|12exp(−12(x−μy)TΣ−1(x−μy))(4)(4)p(x|y)=1(2π)n2|Σ|12exp⁡(−12(x−μy)TΣ−1(x−μy))

 

我们模型的参数包括ϕ,μ0,μ1,Σϕ,μ0,μ1,Σ。这里的两个高斯分布具有不同的均值μ0μ0和μ1μ1，但在实际应用中一般取相同的方差ΣΣ。

给定包含mm个样本的训练集S={(x(1),y(1)),(x(2),y(2)),⋯,(x(m),y(m))}S={(x(1),y(1)),(x(2),y(2)),⋯,(x(m),y(m))}，似然函数形式如下：

L(ϕ,μ0,μ1,Σ)=log∏mi=1p(x(i),y(i);ϕ,μ0,μ1,Σ)=log∏mi=1p(x(i)|y(i);μ0,μ1,Σ)p(y(i);ϕ)=∑mi=1logp(x(i)|y(i);μ0,μ1,Σ)+logp(y(i);ϕ)=∑mi=1[−12(x(i)−μy(i))TΣ−1(x