高斯混合模型EM算法

K均值聚类算法的回顾

算法流程

• 初始化：随机选择K个中心点${\mu }_0,{\mu }_1\cdots {\mu }_k$
• 迭代进行如下步骤：
  • 分类：每一个实例点$j$被分类到与他距离最近的中心处。若设第t次迭代界数后的分类函数为$C^{(t)}(j)$将实例点$x_j$分类，则应该满足$$C^{(t)}(j)=argmi{n}_i||u_i-x_j|{|}^2$$
    这里使用了二范数来度量距离。
  • 重新确定类中心${\mu }_0,{\mu }_1\cdots {\mu }_k$，重新求得的类中心应该使得如下的式子F(u)极小化：
    $$F(u)=\sum _i\sum _{C^{(t)}(j)=i}||x_j-u_i|{|}^2$$
    其中前一个求和符号表示针对于所有的类别的中心求和，后一个求和符号表示对于每一个该类别的样本到该类别的中心的距离求和。
    由优化数学知识可知，当$${\mu }_i=\frac{1}{numof{x}_{j}s.t.C^{(t)}(j))=i}\sum _{C^{(t)}(j))=i}{x}_j$$
    即所有类别i样本的均值。

优化目标

实际上是在学习分类函数$C^{(t)}(j)$以及每一个类别的中心${\mu }_i$.
若设函数$$F(\mu ,C)=\sum _j||{\mu }_{C(j)}-x_j|{|}^2$$则优化目标显然为下面的式子$$mi{n}_{u}mi{n}_{C}F(\mu ,C)$$
即：

• 找到合适的中心和分类函数，使得上述损失最小。但分类函数确是不可微分的！

与EM期望最大化算法的联系

• 当KMEANS算法最终结束后，每个样本头上得到了一个对应的标签。且我们的分类是100%确定的，并不是以某个概率归属于哪一类，以某个概率归属于另一类的情况。并且对于一个给定的样本，距离哪一个类别最近，他就属于哪一个类别

  • 但是很少我们能够100%确定样本的类别！

• E步：固定$\mu$，优化分类函数C,求期望！得到$mi{n}_{C}F(\mu ,C)$

• M步: 固定$C$,求$\mu$！得到$mi{n}_{u}mi{n}_{C}F(\mu ,C)$！

• 换一种表达形式，设$r_{nk}$表示将第n个样本分类到第k类。${\mu }_k$表示第k类的均值，则优化目标$$J=\sum _i\sum _k{r}_{nk}||x_n-{\mu }_k|{|}^2$$

  • 需满足的条件为${\sum }_k{r}_{nk}=1$.且要么是0，要么是1！
  • EM算法给出了对于$r_{nk}$的一种软化版本。即GUASS混合模型。

• K-MEANS保证收敛到局部最优解

  • 但不保证收敛到全局最优解

高斯混合模型-离散隐变量的角度

用于分类的离散隐变量

• 对于每一个样本，其本身含有一个向量$\mathbf{z}=(z_1,z_2\cdots z_k)$.$z_i=1$表示其属于第i类。为ONE-HOT向量。
  • 将$\mathbf{z}$视作多维随机变量，$(z_1,z_2\cdots z_k)$及其每个维度的随机变量。
  • 所以应该满足${\sum }_i{z}_i=1$，且$z_1,z_2,\cdots z_k$中有且仅有一个为1.其余的均为0。所以显然各分随机变量是不独立的！
  • 注意这是对于每一个样本而言，其都具有一个向量z
• 设每个向量z有一个先验联合分布
  $$p(z_i=1，z_1=0,z_2=0,\cdots ,z_{i-1}=0,z_{i+1}=0\cdots z_n=0)={\pi }_i\forall i$$
  • 表示事件：该样本属于第i类,且不属于其他任何类别的概率。
  • 所以应该满足${\sum }_i{\pi }_i=1$,即该样本属于每个类别的概率要满足归一性。

将其扩展到每一种可能的取值，我们有下面的式子：
$$p(\mathbf{z})=p(z_1,z_2,\cdots z_{i-1},z_{i+1},z_k,z_i)=\prod _{i=1}^k{\pi }_i^{z_i}$$
为了验证上述式子的正确性，不妨设$z_1=1$，其余的分量都等于0.得到$$p(z_1=1,z_2=0\cdots z_n=0)={\pi }_1$$这恰好和上述给出的联合概率分布是一致的！即无论$z_1,z_2\cdots z_n$如何取值，上述式子总能给出正确的联合概率分布

混合高斯模型概率密度函数的导出

• 设这里z的意义变化为:该样本属于哪一个高斯模型。

• 而当某个样本的所属的类别确定时，其自身的概率分布也就确定了。例如对于一个给定的样本$\mathbf{x}$，如果其自身的$\mathbf{z}$的取值已经确定为$\mathbf{z}=(1,0,0,0,0\cdots )$那么其自身的分布也就是下面的概率密度:$$p(\mathbf{x}|(1,0,0,0\cdots ))=N(\mathbf{x}|{\mu }_1,{\sum }_1)$$

• 将上述式子扩展到向量$\mathbf{z}$的每一个取值。得到$$p(\mathbf{x}|\mathbf{z})=\prod _{k=1}^{K}N(\mathbf{x}|{\mu }_k,{\sum }_K{)}^{z_k}$$

  • 可以用和第一部分类似的方法验证上述式子的正确性

• 联合分布$$p(\mathbf{x},\mathbf{z})=p(\mathbf{x}|\mathbf{z})p(\mathbf{z})$$

• 如果需要求$p(\mathbf{x})$只需要利用全概率公式：
  $$p(\mathbf{x})=\sum _{\mathbf{z}}p(\mathbf{x},\mathbf{z})=\sum _{\mathbf{z}}(\prod _{k=1}^K{\pi }_k^{z_k})(\prod _{k=1}^{K}N(\mathbf{x}|{\mu }_k,{\sum }_K{)}^{z_k})$$
  注意上式中的求和符号表示对于每一个$\mathbf{z}$的可能取值求和。上述右侧式子可以变化为:
  $$\sum _{\mathbf{z}}(\prod _{k=1}^K{\pi }_k^{z_k})(\prod _{k=1}^{K}N(\mathbf{x}|{\mu }_k,{\sum }_K{)}^{z_k})=\sum _{\mathbf{z}}(\prod _{k=1}^K({\pi }_{k}N({\mu }_k,{\sum }_k){)}^{z_k})$$
  再次说明z的所有可能取值为其中一个分量为1，其余分量为0；于是可以很容易得出:
  $$\sum _{\mathbf{z}}(\prod _{k=1}^K({\pi }_{k}N({\mu }_k,{\sum }_k){)}^{z_k})=\sum _{k=1}^K{\pi }_{k}N(\mathbf{x}|{\mu }_k,{\sum }_k)$$
  即混合高斯模型的概率密度。

类别后验概率

在前一节中，我们得到混合高斯模型的概率密度函数由下面的式子给出：
$$p(\mathbf{x})=\sum _{k=1}^K{\pi }_{k}N(\mathbf{x}|{\mu }_k,{\sum }_K)$$
由上一节中的高斯混合模型的推导过程可知。可以认为给定一个样本$\mathbf{x}$，有一个隐变量$\mathbf{z}$与之对应。

简化NOTATION

对于一个给定的样本而言

• 事件$z_i=1$与事件$z_i=1,z_1=0\cdots z_n=0$等价。
• 使用$p(z_i=1)$表示$p(z_i=1,z_1=0\cdots z_n=0)$
• 今后的$z_i=1$均表示$z_i=1,z_1=0\cdots z_n=0$

后验概率的推导

由贝叶斯公式可知$$p(z_k=1|\mathbf{x})=\frac{p(\mathbf{x}|z_k=1)p(z_k=1)}{{\sum }_{\mathbf{z}}p(\mathbf{x}|z_k=1)p(z_k=1)}$$
记$$\gamma (z_k)=p(z_k=1|\mathbf{x})$$
将上面的推导结果带入$p(z_k=1|\mathbf{x})$可以得到：
$$\gamma (z_k)=p(z_k=1|\mathbf{x})=\frac{{\pi }_{k}N({\mu }_k,{\sum }_k)}{{\sum }_{j=1}^K{\pi }_{j}N({\mu }_j,{\sum }_j)}$$
可以认为$\gamma (z_k)$负责解释第k个高斯负责解释样本x的程度！

• 至此，我们可以认为$p(z_k=1)={\pi }_k$为先验；$\gamma (z_k)$为看到数据之后的后验！

高斯混合模型的参数估计-极大似然估计

• 设观测数据为${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots {\mathbf{x}}_N$
  • 每个数据都是一个$d$维行向量
  • 使用混合高斯模型对数据进行建模！
• 将数据记作一个大矩阵
  $$X=\left[\begin{array}{c}{\mathbf{x}}_1\\ {\mathbf{x}}_2\\ {\mathbf{x}}_3\\ ⋮\\ {\mathbf{x}}_N\end{array}\right]$$
• 每一个观测数据都具有一个隐变量向量$\mathbf{z}$与之进行对应。记与第i个观测数据的隐变量向量维${\mathbf{z}}_i$。是一个K维行向量，其中K为类别个数。类似的将隐变量如以上方式一样进行堆叠，得到的矩阵记作$\mathbf{Z}$；

由于混合高斯模型的概率密度函数为：
$$p(\mathbf{x})=\sum _{k=1}^K{\pi }_{k}N(\mathbf{x}|{\mu }_k,{\sum }_K)$$
所以观测数据的似然函数为:
$$p(X)=\prod _{i=1}^{N}p({\mathbf{x}}_i)=\prod _{i=1}^N(\sum _{k=1}^K{\pi }_{k}N({\mathbf{x}}_i|{\mu }_k,{\sum }_K))$$
将上述式子取对数得到下面的结果：
$$Inp(X)=\sum _{i=1}^{N}In(\sum _{k=1}^K{\pi }_{k}N({\mathbf{x}}_i|{\mu }_k,{\sum }_K))$$
如果将上式关于均值向量${\mu }_k$求导并设导数等于0，得到：
$$0=\sum _{i=1}^{N}p(z_k=1|{\mathbf{x}}_i){\sum }_k^{-1}({\mathbf{x}}_i-{\mu }_k)$$
亦即$$\sum _{i=1}^{N}p(z_k=1|{\mathbf{x}}_i){\sum }_k^{-1}{\mathbf{x}}_i=\sum _{i=1}^{N}p(z_k=1|{\mathbf{x}}_i){\sum }_k^{-1}{\mu }_k$$
我们关注到$p(z_k=1|{\mathbf{x}}_i)$是标量，所以等式两侧同时乘以${\sum }_k$得到：
$${\mu }_k=\frac{{\sum }_{i=1}^{N}p(z_k=1|{\mathbf{x}}_i){\mathbf{x}}_i}{{\sum }_{i=1}^{N}p(z_k=1|{\mathbf{x}}_i)}$$
其中$$p(z_k=1|{\mathbf{x}}_i)=\frac{{\pi }_{k}N({\mathbf{x}}_i|{\mu }_k,{\sum }_k)}{{\sum }_{j=1}^K{\pi }_{j}N({\mathbf{x}}_i|{\mu }_j,{\sum }_j)}$$
注意到等式左右两侧实际上都有${\mu }_k$的存在，因此我们实际上并没有给出${\mu }_k$的一个解析解。只是给出了一个方程即${\mu }_k=f({\mu }_k)$。不能通过计算右侧的式子计算出${\mu }_k$

• 至此为止，整理下思路。我们将对数似然函数对${\mu }_k$求导令导数等于0，得到了关于${\mu }_k$的一个等式。
• 换句话说，能使得上述对数似然函数到达最优解的${\mu }_k$一定满足上述等式。
• 于是，我们可以初始化一个${\mu }_k$，然后不断使用上述式子迭代计算新的${\mu }_k$。如果两次迭代算出的${\mu }_k$差距小于某个阈值的话我们就可以近似认为求出的${\mu }_k$使得上述等式成立了。

下面，为了简便引入记号$\gamma (z_{ik})$满足$$\gamma (z_{ik})=p(z_k=1|{\mathbf{x}}_i)=\frac{{\pi }_{k}N({\mathbf{x}}_i|{\mu }_k,{\sum }_k)}{{\sum }_{j=1}^K{\pi }_{j}N({\mathbf{x}}_i|{\mu }_j,{\sum }_j)}$$

• 其意义很明确。给定第i个样本其属于第k个高斯类别的概率。

于是均值向量${\mu }_k$可以简化为
$${\mu }_k=\frac{{\sum }_{i=1}^N\gamma (z_{ik}){\mathbf{x}}_i}{{\sum }_{i=1}^N\gamma (z_{ik})}$$
再引入记号$$N_k=\sum _{i=1}^N\gamma (z_{ik})$$

• 由$\gamma (z_{ik})=p(z_k=1|{\mathbf{x}}_i)$的定义可知，可以将新引入的$N_k$解释为类别$k$中有效的点的个数。(统计意义上的个数，每个点有一定的概率属于第k类)

于是$${\mu }_k=\frac{{\sum }_{i=1}^N\gamma (z_{ik}){\mathbf{x}}_i}{N_k}$$

• 可以将${\mu }_k$的意义解释为：所有样本属于类别$k$的概率的加权和，除以类别$k$中有效的，统计意义上的样本点的个数。

对称的，显然可以得到其他均值向量的值。
同时，用类似的方法可以得到协方差矩阵满足的不动点方程：
$${\sum }_k=\frac{{\sum }_{i=1}^N\gamma (z_{ik})({\mathbf{x}}_i-{\mu }_k)({\mathbf{x}}_i-{\mu }_k{)}^T}{N_k}$$

• 以和解释$\mu$相似的解释策略可以解释

还可以得出每一个先验参数${\pi }_k$的不动点方程：
$${\pi }_k=\frac{N_k}{N}$$其中N为样本总数。上述式子的意义很明确，因为我们是拿样本点来估计这个类别先验，所以统计意义上属于第k类样本点个数除以总个数等于样本属于第k类的先验概率。

高斯混合模型的参数估计-EM算法

混合高斯模型的EM算法

由上面的分析，我们只需要求得所有的向量$\mu$，所有的协方差矩阵$\sum$以及所有的类别先验分布$\pi$，使得这些参数分别满足各自的不动点方程，我们就可以使得我们上述导数为0的式子成立，进而近似使得我们的似然最大化。

• 涉及到数值算法的知识，不动点方程$x=f(x)$在满足一定的条件下可以以迭代的形式求解。即先初始化一个点$x_0$，计算右侧的值，令$x_1\leftarrow f(x_0)$。再将$x_1$代入$f(x)$计算全新的$x_2$如此循环往复。
• 当两次计算的结果之差小于某个阈值时，我们可以近似认为不动点方程近似得到了满足。

综上所述，我们得到了混合高斯模型参数估计的EM算法。

• 首先对于每个类别初始化$\mu ,\sum ,\pi$
• 迭代执行直到满足两次估计值小于某个阈值：
  • 计算每一个$\gamma (z_{ik})$（E步）
  • 拿上述分析中每个参数的不动点方程更新参数。（M步）

可以使用梯度上升算法最小化似然函数吗（或梯度下降法最小化负似然函数）？

• 理论上可行
• 但实际上似然函数中有求和
• 步长难以选取

与K-MEANS的联系（更多请参考PRML）：

这一部分旨在说明K-MEANS是高斯混合模型的特例
多元高斯分布$N({\mu }_x,\sum )$的概率密度函数为:

在混合高斯模型中我们有:
$$\gamma (z_{ik})=p(z_k=1|{\mathbf{x}}_i)=\frac{{\pi }_{k}N({\mathbf{x}}_i|{\mu }_k,{\sum }_k)}{{\sum }_{j=1}^K{\pi }_{j}N({\mathbf{x}}_i|{\mu }_j,{\sum }_j)}$$

E步的联系

由上述的不动点方程：

• 如果我们直接假设每个类别的先验分布$\pi$是相同的，而不使用上述的不动点方程迭代求解。
  • 于是满足$\gamma (z_{ik})=\frac{N({\mathbf{x}}_i|{\mu }_k,{\sum }_k)}{{\sum }_{j=1}^{K}N({\mathbf{x}}_i|{\mu }_j,{\sum }_j)}$
• 如果我们假设变量间的协方差矩阵都为$aI，a\to 0$,I为单位阵，不使用不动点方程进行更新。

在满足上述的假设后，最后的$\gamma (z_{ik})$变为了：
$$\gamma (z_{ik})=\frac{e^{-({\mathbf{x}}_i-{\mu }_k{)}^T\frac{1}{2a}({\mathbf{x}}_i-{\mu }_k)}}{{\sum }_{j=1}^K{e}^{-({\mathbf{x}}_i-{\mu }_j{)}^T\frac{1}{2a}({\mathbf{x}}_i-{\mu }_j)}}$$
其中$\frac{1}{a}\to \infty$。将分子分母同时除以分子，很容易得到：

• 当${\mu }_k$使得$({\mathbf{x}}_i-{\mu }_k{)}^T({\mathbf{x}}_i-{\mu }_k)$最小时（即K-MEANS的优化目标的E步），即其负数形式最大，能够使得$\gamma (z_{ik})=1$
• 否则如果不能使得其最小，就一定使得$\gamma (z_{ik})=0$
• 换句话说，即最后$\gamma (z_{ik})$要么为0，要么为1！当且仅当${\mathbf{x}}_i$距离${\mu }_k$最近时，$\gamma (z_{ik})=1$，其余的情况都等于0

M步的联系

• 由于上述已经对于先验和协方差矩阵做出假设了，所以只需要个更新$\mu$即可。
• 混合高斯模型的更新方式为
  $${\mu }_k=\frac{{\sum }_{i=1}^N\gamma (z_{ik}){\mathbf{x}}_i}{N_k}$$
  其中$N_k={\sum }_{i=1}^N\gamma (z_{ik})$.
• 而由上述E步的$\gamma (z_{ik})$的生成过程可知，当且仅当${\mathbf{x}}_i$距离${\mu }_k$最近时，$\gamma (z_{ik})=1$，其余的情况都等于0。
  • 于是分子显然是对所有距离${\mu }_k$最近的数据点求和。
  • 分母即为所有距离${\mu }_k$数据点的个数
  • 这和K-MEANS的更新方法完全一致！

一般形式的EM算法

上面的部分已经引入了$X$,$Z$,分别表示观测数据与每个数据对应的隐变量矩阵。我们的目标是最大化似然函数$Inp(X)$。
$$Inp(X)=In\sum _{Z}p(X,Z)$$
右侧求和表示对于隐变量矩阵$Z$的每一种可能取值构成的进行累加。

• 对于高斯混合模型而言，如果一共有k个分模型，一共有N个观测数据。则$Z$的取值个数：
  • 每个样本的取值可能数有k个
  • 不同样本之间取值相互独立
  • 所以一共有$k^N$种可能取值
• 定义 { X , Z } \{X,Z\} {X,Z}为完全数据，定义 { X } \{X\} {X}为不完全数据。

一般情况下仅仅知道$P(Z|X)$,于是可以考虑下面的期望函数：
$$Q(\theta ,{\theta }^{old})=\sum _{Z}p(Z|X,{\theta }^{old})Inp(X,Z|\theta )$$

• 迭代进行下面的步骤，直到相邻两次计算出的$\theta$值满足收敛条件：
  • 在E步中，使用模型迭代到此步的${\theta }^{old}$计算现有后验概率$p(Z|X,{\theta }^{old})$
    • 类似于混合高斯模型中的第一步计算$p(z_k=1|\mathbf{x})$
  • M步：带入到上述$Q$函数中，并求解$\theta$使得$Q$函数尽可能最大化。

EM算法的变分下界

• 设隐变量矩阵$Z$,引入另一个分布$q(Z)$。应该满足${\sum }_{Z}q(Z)=1$
• 如果设模型的参数为$\theta$:
  • 这里的$\theta$实质上代表了模型全部的参数
  • 例如对于高斯混合模型而言$\theta$就代表了所有的$\pi ,\mu ,\sum$
  • 将观测数据的似然函数写作$p(X|\theta )$

考察上述观测数据的对数似然函数，如果对于随机变量矩阵$Z$引入其分布$q(Z)$那么有下式成立：
$$Inp(X|\theta )=In\sum _{Z}p(X,Z|\theta )=In\sum _{Z}q(Z)\frac{p(X,Z|\theta )}{q(Z)}$$
由$JENSEN$不等式可知，注意Log是凹函数，所以不等号方向需要改变的：
$$In\sum _{Z}q(Z)\frac{p(X,Z|\theta )}{q(Z)}\ge \sum _{Z}q(Z)In\frac{p(X,Z|\theta )}{q(Z)}$$
我们先考察一下不等式的一半。不等号右侧的式子可以写为
$$\sum _{Z}q(Z)In\frac{p(X,Z|\theta )}{q(Z)}=\sum _{Z}q(Z)Inp(X,Z|\theta )-\sum _{Z}q(Z)Inq(Z)$$

• 上式右侧第一项的$p(X,Z|\theta )$,其形式是已知的，只是其参数$\theta$未知。
  • 首先注意观测数据$X$实际上是已知的
  • 例如对于混合高斯模型而言，其概率密度函数是已知的，而我们是需要估计$\mu ,\sum ,\pi$。
  • 而对于隐变量，我们本身就需要考虑其所有可能取值。所以也可以认为它是已知的。
    • 例如在高斯混合模型中要考虑所有样本类别的可能取值，即构成了隐变量矩阵$Z$的所有可能取值
  • 所以上述式子中的第一项只依赖于$\theta$即模型参数的可能取值。当模型参数取值变化时，上述式子的第一项也跟着发生变化。
• 同时，我们并不知道$q(Z)$的具体形式。所以上式还依赖于$q(Z)$
  • 而$q(Z)$显然是一种针对于随机变量矩阵$Z$分布函数
• 综上所述，上式的取值就依赖于$\theta$和$q(Z)$。我们将其写作$$\sum _{Z}q(Z)Inp(X,Z|\theta )-\sum _{Z}q(Z)Inq(Z)=L(q,\theta )$$

现在我们回过头来考察整个不等式即：
$$In\sum _{Z}q(Z)\frac{p(X,Z|\theta )}{q(Z)}\ge \sum _{Z}q(Z)In\frac{p(X,Z|\theta )}{q(Z)}$$
这个不等号的来源理论依据为JENSEN不等式。而我们并没有对于$q(Z)$加任何限制。换句话说，对于任何的$q(Z)$上述不等式均成立。
注意：$$\sum _{Z}q(Z)Inp(X,Z|\theta )-\sum _{Z}q(Z)Inq(Z)=L(q,\theta )$$
前面的式子为期望的形式。可以看作函数$p(X,Z|\theta )$在分布$q(Z)$下的期望值。即有$$E_{q(Z)}[Inp(X,Z|\theta )]$$
后面的部分为分布$q(Z)$的熵值。将$L(q,\theta )$称作变分下界。RECALL对于离散型随机变量而言，其熵值以如下形式给出:
$$H(z)=\sum _z-p(z)logp(z)$$
对于连续性随机变量而言,其熵值有下图所示的形式给出:
$$H(z)=\int -p(z)logp(z)dz$$
如果将分布$q(Z)$的熵值记作$H(q(Z))$,那么上述的不等式可以写作：
$$Inp(X|\theta )\ge E_{q(Z)}[Inp(X,Z|\theta )]+H(q(Z))=L(q,\theta )$$
同时，由于
$$Inp(X|\theta )=In\sum _{Z}q(Z)\frac{p(X,Z|\theta )}{q(Z)}$$
可以将其写作如下的形式：
$$Inp(X|\theta )=L(q,\theta )+KL(q||p)$$
其中前面的一项$L(q,\theta )={\sum }_{Z}q(Z)Inp(X,Z|\theta )-{\sum }_{Z}q(Z)Inq(Z)$即上述变分下界。后面的一项$$KL(q||p)=-\sum _{Z}q(Z)In\frac{p(Z|X,\theta )}{q(Z)}$$由于有${\sum }_{Z}q(Z)=1$很容易就可以得出上述等式成立。回顾KL散度的性质，KL散度满足如下两条性质：

• $KL(q||p)\ge 0$
• 等号成立当且仅当$q(Z)=p(Z|X,\theta )$

因此也可以得出$$Inp(X|\theta )\ge L(q,\theta )$$。下图所示证明了满足的数量关系：

• EM算法的步骤可以概括为下面两个步骤，假设现在模型获得的参数为${\theta }^{old}$：
  • E步：变分下界$L(q,{\theta }^{old})$被关于分布$q(Z)$最大化，而参数${\theta }^{old}$固定。这时$Inp(X|{\theta }^{old})$应该是已知的（因为参数已经确定了）。而由于$Inp(X|{\theta }^{old})=L(q,{\theta }^{old})+KL(q||p)$，因此当$KL(q||p)=0$即$q(Z)=p(Z|X,{\theta }^{old})$时可以使得该变分下界达到最大值。
    • 当满足$q(Z)=p(Z|X,{\theta }^{old})$时，将其带入变分下界的定义式子$$\sum _{Z}q(Z)Inp(X,Z|\theta )-\sum _{Z}q(Z)Inq(Z)=L(q,\theta )$$就可以得到下列形式：
      

• M步：分布$q(Z)$固定而变分下界关于参数$\theta$最大化。这将会使得变分下界$L(q,{\theta }^{old})$得到提升，从而使得似然值提升，设更新之后的${\theta }^{new}$。
  - 但是由于分布$q(Z)$在E步中和 $p(Z|X,{\theta }^{old})$，相同，而和$p(Z|X,{\theta }^{new})$是不同的，因此在上述过程执行完毕后，$KL$散度值又会变得不是0；
  - 因此，$Inp(X|\theta )$会提升的比$L(q,\theta )$更多。

EM算法的收敛性

• 参见统计学习方法 李航

高斯混合模型的再回首

在前面部分的给出的EM算法的一般形式中，我们给出了Q函数：
$$Q(\theta ,{\theta }^{old})=\int p(Z|X,{\theta }^{old})logp(X,Z|\theta )dZ$$

• 尤其注意这里积分时Z的取值，在混合高斯模型中可能的取值个数上面已经给出。
• 当然这里因为Z是离散的，因此这里的积分实际上是求和
• 在混合高斯模型中，我们需要估计的参数为$\theta =(\pi ,\mu ,\sum )$
• 在混合高斯模型中，这里的矩阵Z的形式上面已经给出。即${\gamma }_{ik}$组成的矩阵。第i个样本属于第k个高斯分布的后验概率。
• z的第i行是样本i对应的$\mathbf{z}$向量记为${\mathbf{z}}_i$，即上述用于分类的离散隐变量。如果假设有k个高斯分模型${\mathbf{z}}_i$变量对应（${\gamma }_{i1},\cdots {\gamma }_{ik}$）

先考察$p(X,Z|\theta )$的形式。在高斯混合模型中，这个式子的意义是在给定高斯混合模型参数的条件下，事件：

• 样本$X$出现
• 且第一个样本属于矩阵Z第一行不为0的元素的列下标的高斯，第二个样本属于矩阵Z第二行不为0的元素的列下标的高斯$\cdots$以此类推。

发生的概率（也是似然）.
假设有k个高斯分模型。对于单个样本${\mathbf{x}}_i$而言，我们有：
$$p({\mathbf{x}}_i,{\mathbf{z}}_i|\theta )=\prod _{n=1}^k({\pi }_{n}N({\mathbf{x}}_i|{\mu }_n,{\sum }_n){)}^{{\gamma }_{in}}$$
注意到样本之间的独立性，我们有：
$$p(X,Z|\theta )=\prod _{i=1}^{N}p({\mathbf{x}}_i,{\mathbf{z}}_i|\theta )$$
将第一个式子带入第二个式子
p ( X , Z ∣ θ ) = ∏ i = 1 N { ∏ n = 1 k [ ( π n N ( x i ∣ μ n , ∑ n ) ) γ i n ] } p(X,Z|\theta) = \prod_{i = 1}^N\{\prod_{n = 1}^k [ (\pi_n N(\mathbf x_i|\mu_n,{\sum}_n))^{\gamma_{in}}]\} p(X,Z∣θ)=i=1∏N​{n=1∏k​[(πn​N(xi​∣μn​,∑n​))γin​]}
取对数得到：
$$logp(X,Z|\theta )=\sum _{i=1}^N\sum _{n=1}^k[{\gamma }_{in}log({\pi }_{n}N({\mathbf{x}}_i|{\mu }_n,{\sum }_n))]$$
下面再考察：$p(Z|X,\theta )$

对单个样本而言，自然有：
$$p({\mathbf{z}}_i|X,\theta )=p({\mathbf{z}}_i|{\mathbf{x}}_i,\theta )=\frac{{\prod }_{n=1}^k({\pi }_{n}N({\mathbf{x}}_i|{\mu }_n,{\sum }_n){)}^{{\gamma }_{in}}}{{\sum }_{n=1}^k{\pi }_{n}N({\mathbf{x}}_i|{\mu }_n,{\sum }_n)}$$
注意分子还是前面的老话"\gamma只有一个分量为1，其余的全为0"
由于样本间的独立性，于是有:
$$p(Z|X,\theta )=\prod _{i=1}^{N}p({\mathbf{z}}_i|X,\theta )=\prod _{i=1}^N[\frac{{\prod }_{n=1}^k({\pi }_{n}N({\mathbf{x}}_i|{\mu }_n,{\sum }_n){)}^{{\gamma }_{in}}}{{\sum }_{n=1}^k{\pi }_{n}N({\mathbf{x}}_i|{\mu }_n,{\sum }_n)}]$$

• 还需要注意到：上述$\theta$参数是${\theta }^{old}$，即上述式子中的${\pi }_n,{\mu }_n,{\sum }_n$已知的。这和上述推导的$P(X,Z|\theta )$是两个不同的$\theta$，后者是在M步中需要求解的
• 于是为了区分在$p(Z|X,\theta )$的每个参数头上加上old，代表已知。

下面给出上述Q函数的具体形式,首先将上述定义带入得到：
$$\begin{gathered} Q=\int p(Z|X,{\theta }^{old})p(X,Z|\theta )dZ \\ =\int \prod _{i=1}^N[\frac{{\prod }_{n=1}^k({\pi }_{n}N({\mathbf{x}}_i|{\mu }_n^{old},{\sum }_n){)}^{{\gamma }_{in}}}{{\sum }_{n=1}^k{\pi }_{n}N({\mathbf{x}}_i|{\mu }_n^{old},{\sum }_n^{old})}]\cdot \sum _{i=1}^N\sum _{n=1}^k[{\gamma }_{in}log({\pi }_{n}N({\mathbf{x}}_i|{\mu }_n,{\sum }_n))]dZ \end{gathered}$$
在上面式子中，前后两部分用间隔号区分开了。
虽然上面的式子很复杂，但是我们仔细观察形式：

• 上述积分是对于Z矩阵取值的每种情况进行求和，而Z中的元素就是${\gamma }_{ij}$
• 于是这里的$dZ$就相当于$d{\gamma }_{11}d{\gamma }_{12}\cdots d{\gamma }_{1k}d{\gamma }_{21}\cdots d{\gamma }_{2k}\cdots d{\gamma }_{N1}d{\gamma }_{N2}\cdots d{\gamma }_{Nk}$
• 当然也相当于$d{\mathbf{z}}_{1}d{\mathbf{z}}_2\cdots d{\mathbf{z}}_N$
• 注意$\gamma$中那个一个取值为1，其余取值都为0的约束条件（前面的部分，用于分类的离散隐变量）
• 于是可以利用积分的线性性质，将积分提到里面去，得到：

Q = ∑ i = 1 N ∑ n = 1 k { ∫ γ i n ∏ i = 1 N [ ∏ n = 1 k ( π n N ( x i ∣ μ n o l d , ∑ n ) ) γ i n ∑ n = 1 k π n N ( x i ∣ μ n o l d , ∑ n o l d ) ] d Z } l o g ( π n N ( x i ∣ μ n , ∑ n ) ) Q = \sum_{i= 1}^N\sum_{n = 1}^k \{\int \gamma_{in} \prod_{i= 1}^N [\frac{ \prod_{n = 1}^k (\pi_n N(\mathbf x_i|\mu_n^{old},{\sum}_n))^{\gamma_{in}}}{\sum_{n = 1}^k \pi_n N(\mathbf x_i|\mu_n^{old},{\sum}_n^{old})}] dZ\}log(\pi_nN(\mathbf x_i|\mu_n,{\sum}_n)) Q=i=1∑N​n=1∑k​{∫γin​i=1∏N​[∑n=1k​πn​N(xi​∣μnold​,∑nold​)∏n=1k​(πn​N(xi​∣μnold​,∑n​))γin​​]dZ}log(πn​N(xi​∣μn​,∑n​))
要想求出Q函数，只需求出那里面的一大堆积分就可以了。现在考察：
$$\int {\gamma }_{in}\prod _{i=1}^N[\frac{{\prod }_{n=1}^k({\pi }_{n}N({\mathbf{x}}_i|{\mu }_n^{old},{\sum }_n){)}^{{\gamma }_{in}}}{{\sum }_{n=1}^k{\pi }_{n}N({\mathbf{x}}_i|{\mu }_n^{old},{\sum }_n^{old})}]dZ$$
即
$$\int {\gamma }_{in}\prod _{i=1}^N[\frac{{\prod }_{n=1}^k({\pi }_{n}N({\mathbf{x}}_i|{\mu }_n^{old},{\sum }_n){)}^{{\gamma }_{in}}}{{\sum }_{n=1}^k{\pi }_{n}N({\mathbf{x}}_i|{\mu }_n^{old},{\sum }_n^{old})}]d{\gamma }_{11}d{\gamma }_{12}\cdots d{\gamma }_{1k}d{\gamma }_{21}\cdots d{\gamma }_{2k}\cdots d{\gamma }_{N1}d{\gamma }_{N2}\cdots d{\gamma }_{Nk}$$
不妨令i = 1,n = 1看看积分的结果，其余的都是类似的：

• ${\gamma }_{11}$可以取1，当取1时，${\gamma }_{1n},n>=1$中所有的都得取0
• ${\gamma }_{11}$可以取0，不论如何积分结果都是0
• 因此最终的积分结果就是${\gamma }_{11}$取1时的结果。
• 其余的变量的取值需要满足约束条件-单个为1，其余为0

${\gamma }_{11}=1$时上述式子化简为：
$$\frac{{\pi }_{1}N({\mathbf{x}}_i|{\mu }_1^{old},{\sum }_1^{old})}{{\sum }_{n=1}^k{\pi }_{n}N({\mathbf{x}}_i|{\mu }_n^{old},{\sum }_n^{old})}\int \prod _{i=2}^N[\frac{{\prod }_{n=1}^k({\pi }_{n}N({\mathbf{x}}_i|{\mu }_n^{old},{\sum }_n){)}^{{\gamma }_{in}}}{{\sum }_{n=1}^k{\pi }_{n}N({\mathbf{x}}_i|{\mu }_n^{old},{\sum }_n^{old})}]d{\gamma }_{21}\cdots d{\gamma }_{2k}\cdots d{\gamma }_{N1}d{\gamma }_{N2}\cdots d{\gamma }_{Nk}$$
后面的式子结果等于1。提示：利用样本的独立性拆解积分即可，很容易，再注意约束条件。
推广到一般形式即不只是${\gamma }_{11}$，
$$\int {\gamma }_{in}\prod _{i=1}^N[\frac{{\prod }_{n=1}^k({\pi }_{n}N({\mathbf{x}}_i|{\mu }_n^{old},{\sum }_n){)}^{{\gamma }_{in}}}{{\sum }_{n=1}^k{\pi }_{n}N({\mathbf{x}}_i|{\mu }_n^{old},{\sum }_n^{old})}]dZ=\frac{{\pi }_{n}N({\mathbf{x}}_i|{\mu }_n^{old},{\sum }_n^{old})}{{\sum }_{n=1}^k{\pi }_{n}N({\mathbf{x}}_i|{\mu }_n^{old},{\sum }_n^{old})}$$
上述积分就是离散隐变量${\gamma }_{in}$在分布$P(Z|X,{\theta }^{old})$下的期望值。即：
$$E_{p(Z|X,{\theta }^{old})}[{\gamma }_{in}]=\int {\gamma }_{in}\prod _{i=1}^N[\frac{{\prod }_{n=1}^k({\pi }_{n}N({\mathbf{x}}_i|{\mu }_n^{old},{\sum }_n){)}^{{\gamma }_{in}}}{{\sum }_{n=1}^k{\pi }_{n}N({\mathbf{x}}_i|{\mu }_n^{old},{\sum }_n^{old})}]dZ=\frac{{\pi }_{n}N({\mathbf{x}}_i|{\mu }_n^{old},{\sum }_n^{old})}{{\sum }_{n=1}^k{\pi }_{n}N({\mathbf{x}}_i|{\mu }_n^{old},{\sum }_n^{old})}$$
于是得到了Q函数：
$$\sum _{i=1}^N\sum _{n=1}^k{E}_{p(Z|X,{\theta }^{old})}[{\gamma }_{in}]log({\pi }_{n}N({\mathbf{x}}_i|{\mu }_n,{\sum }_n))$$

E步

这里求解期望步，就可以看作上述利用线性性质后的积分，也可以认为是使用了期望的线性性质。即通过求解：
$$E_{p(Z|X,{\theta }^{old})}[{\gamma }_{in}]=\frac{{\pi }_{n}N({\mathbf{x}}_i|{\mu }_n^{old},{\sum }_n^{old})}{{\sum }_{n=1}^k{\pi }_{n}N({\mathbf{x}}_i|{\mu }_n^{old},{\sum }_n^{old})}$$
进而求解到Q函数。
求解以后，注意这里的${\mu }_n$，${\sum }_n$，$\pi$都是未知量

M步

将Q函数关于未知量最大化即得到混合高斯模型的迭代估计值。更新方式和前文利用极大似然估计的一致。