【机器学习】GMM模型的直观推导（含中间步骤）

最新推荐文章于 2025-02-28 10:14:45 发布

artzers

最新推荐文章于 2025-02-28 10:14:45 发布

阅读量6.6k

点赞数 3

CC 4.0 BY-SA版权

分类专栏：模式识别与机器学习文章标签：机器学习数据

本文链接：https://blog.youkuaiyun.com/lpsl1882/article/details/53072907

模式识别与机器学习专栏收录该内容

46 篇文章

订阅专栏

本文介绍了概率论和数理统计的基本概念，并深入探讨了高斯混合模型(GMM)的工作原理及参数求解方法，包括μk、σk和pk的求导过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

　　概率论和数理统计是一对兄弟：概率论负责在已知分布函数的情况下研究样本；数理统计负责在已知样本的情况下，反推分布函数的特性。假设我们获取了样本数据，同时知道分布函数的大概形式，只是不知道分布函数的参数，那么可以使用数理统计中的点估计方法来估计分布函数的参数。点估计包括矩估计和极大似然估计。极大似然估计是很重要的点估计方法。
　　GMM模型即高斯混合模型，根据大数定律，在日常生活中，很多概率事件都服从高斯分布，因此GMM模型可以应用在这些概率事件的分析上。GMM模型由K个独立的高斯分布混合而成。我们可以这样直观求解GMM模型：
　　1、定义GMM模型为 $P(x,\theta)=\sum_{k=1}^Kp_k\frac{1}{\sqrt{2\pi}\sigma_k }e^{-\frac{|x-\mu_k|^2}{2\sigma_k^2}}=\sum_{k=1}^Kp_iN(x,\mu_k,\sigma_k)$ 其中 $\theta=p_1,p_2,...,\mu_1,\mu_2,...,\sigma_1,\sigma_2,...$ ， $p_i$ 是K个独立高斯分布的权重。我们需要求取这三类参数。它们可以随机分配初值。不同的初值可能有不同结果，都是满足条件的。
　　2、这里有个很不同的地方，就是优化要加约束条件 $\sum_{k=1}^K{p_k}=1$ ，GMM的似然函数是

log \prod n = 1 N [\sum k = 1 K p k N (x n | μ k, σ k)] + λ [\sum k = 1 K p k - 1] = \sum n = 1 N log \sum k = 1 K p k N (x n | μ k, σ k) + λ [\sum k = 1 K p k - 1]

$\log{\prod_{n=1}^N[\sum_{k=1}^Kp_kN(x_n|\mu_k,\sigma_k)]}+\lambda[\sum_{k=1}^K{p_k}-1]=\sum_{n=1}^N{\log{\sum_{k=1}^Kp_kN(x_n|\mu_k,\sigma_k)}}+\lambda[\sum_{k=1}^K{p_k}-1]$ ，其中

xn $x_n$ 是GMM曲线中第n个点的样本值。
　　3、对

μk $\mu_k$ 求导得到

\sum n = 1 N p k N ( x n | μ k , σ k ) 1 σ 2 k ( x n - μ k ) \sum K k = 1 p k N ( x n | μ k , σ k ) = 0 \sum n = 1 N p k N ( x n | μ k , σ k ) ( x n - μ k ) \sum K k = 1 p k N ( x n | μ k , σ k ) = 0

$\sum_{n=1}^N{\frac{p_kN(x_n|\mu_k,\sigma_k)\frac{1}{\sigma_k^2}(x_n-\mu_k)}{\sum_{k=1}^Kp_kN(x_n|\mu_k,\sigma_k)}}=0 \\ \sum_{n=1}^N{\frac{p_kN(x_n|\mu_k,\sigma_k)(x_n-\mu_k)}{\sum_{k=1}^Kp_kN(x_n|\mu_k,\sigma_k)}}=0$ 因为我们这里不关心

σ $\sigma$ ，所以可以当做一个常数消去。令

γnk=pkN(xn|μk,σk)∑Kk=1pkN(xn|μk,σk) $\gamma_{nk}=\frac{p_kN(x_n|\mu_k,\sigma_k)}{\sum_{k=1}^Kp_kN(x_n|\mu_k,\sigma_k)}$ ，则有

\sum n = 1 N γ n k x n = μ k \sum n = 1 N γ n k \to μ k = \sum N n = 1 γ n k x n \sum N n = 1 γ n k

$\sum_{n=1}^N{\gamma_{nk}x_n}=\mu_k\sum_{n=1}^N{\gamma_{nk}} \\ \rightarrow \mu_k=\frac{\sum_{n=1}^N{\gamma_{nk}x_n}}{\sum_{n=1}^N{\gamma_{nk}}}$

γnk $\gamma_{nk}$ 是根据当前的参数

θ $\theta$ 和样本

xn $x_n$ 算出来的数值，这是各个分量的统计量。很明显直接把当前的

μk $\mu_k$ 代入后，拿到了一个新的

μk $\mu_k$ 值，这个等式两边的

μk $\mu_k$ 并不是一个东西。数学家证明了这样更新参数可以最优化分布函数。
　　继续对

σk $\sigma_k$ 求导有

\sum n = 1 N p k [ - 1 / σ N ( x n | μ k , Σ k ) + N ( x n | μ k , Σ k ) ( x n - μ k ) 2 1 / σ 3 ] \sum K k = 1 p k N ( x n | μ k , Σ k ) \cdot 2 = 0 \sum n = 1 N γ n k [- 1 + (x n - μ k) 2 1 / σ 2] = 0 \to σ 2 = \sum N n = 1 γ n k ( x n - μ k ) 2 \sum N n = 1 γ n k

$\sum_{n=1}^N{\frac{p_k[-1/\sigma N(x_n|\mu_k,\Sigma_k)+N(x_n|\mu_k,\Sigma_k)(x_n-\mu_k)^21/\sigma^3]}{\sum_{k=1}^Kp_kN(x_n|\mu_k,\Sigma_k)\cdot 2}}=0 \\ \sum_{n=1}^N{\gamma_{nk}[- 1+(x_n-\mu_k)^21/\sigma^2]}=0 \\ \rightarrow \sigma^2=\frac{\sum_{n=1}^N\gamma_{nk}(x_n-\mu_k)^2}{\sum_{n=1}^N\gamma_{nk}}$ 注意由于

γnk $\gamma_{nk}$ 前面还有一个关于n的求和，所以不能约掉。
　　最后求导

pk $p_k$ 得到

\sum n = 1 N N ( x n | μ k , σ k ) \sum K k = 1 p k N ( x n | μ k , σ k ) + λ = 0 \sum n = 1 N p k N ( x n | μ k , σ k ) \sum K k = 1 p k N ( x n | μ k , σ k ) = - λ p k \sum n = 1 N γ n k = - λ p k

$\sum_{n=1}^N{\frac{N(x_n|\mu_k,\sigma_k)}{\sum_{k=1}^Kp_kN(x_n|\mu_k,\sigma_k)}}+\lambda=0 \\ \sum_{n=1}^N{\frac{p_kN(x_n|\mu_k,\sigma_k)}{\sum_{k=1}^Kp_kN(x_n|\mu_k,\sigma_k)}}=-\lambda p_k \\ \sum_{n=1}^N{\gamma_{nk}}=-\lambda p_k$ 这里的技巧是，对k求和，等到

\sum k = 1 K \sum n = 1 N γ n k = \sum n = 1 N \sum K k = 1 p k N ( x n | μ k , σ k ) \sum K k = 1 p k N ( x n | μ k , σ k ) = N = - λ \sum k = 1 K p k = - λ λ = - N

$\sum_{k=1}^K{\sum_{n=1}^N{\gamma_{nk}}}=\sum_{n=1}^N{\frac{\sum_{k=1}^K{p_kN(x_n|\mu_k,\sigma_k)}}{\sum_{k=1}^Kp_kN(x_n|\mu_k,\sigma_k)}}=N=-\lambda \sum_{k=1}^K{p_k}=-\lambda \\ \lambda = -N$ 代入原式得到