本文深入探讨高斯混合模型（Mixture of Gaussians, MoG），结合EM算法解析隐藏参数的求解过程。同时，文章介绍了在参数个数远大于样本数情况下，因子分析的重要性和协方差矩阵的限制策略，如对角矩阵和等方差限制。此外，讨论了如何从联合多元高斯分布中获取边缘和条件高斯分布，并展示了因子分析的EM算法步骤。"
105353262,7521484,Win10环境下Docker安装全攻略,"['Docker', '容器化', 'Windows 10', '虚拟化技术', 'Docker Desktop']
高斯混合模型进阶 Mixture of Gaussians Revisited
上一讲中我们已介绍过高斯混合模型（Mixture of Gaussians， MoG），在本讲中，我们将把高斯混合模型和EM算法结合起来，详细解释EM算法是如何解决ＭoG问题中的隐藏参数z的。回忆上一讲中介绍的方法，我们推导了M步中Φ和μj的公式，而把Σj的推导留给了读者。相比之下，E步的推导就简单许多，用上述的算法，我们可以计算
其中，Qi(zi=j)表示在分布Qi下，zi=j的概率。在M步中，我们需要依次对φ、μ和Σ优化以取得最大值，我们的目标方程为
将上式对μ求导数，我们得到
令导数为零求解，得
同样对φj进行同样的计算，我们可发现我们需要最大化
但是考虑到φi的和应为1，为了解决这一问题，我们构造拉格朗日方程
对上式求导，我们有
我们已知-β=m，因此我们在M步中使用
推导Σj也是使用同样的方式。
因子分析 Factor Analysis
我们之前讨论的所有问题都建立在训练集的规模（元素数）m大于甚至远远大于参数个数n。</
最低0.47元/天 解锁文章
扫一扫
2504
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
