李航统计学习总结：EM算法、朴素贝叶斯、隐马尔可夫、随机向量场

最新推荐文章于 2021-10-17 15:36:33 发布

原创

最新推荐文章于 2021-10-17 15:36:33 发布 · 1.6k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#条件随机场CRF #机器学习 #隐马尔可夫HMM #朴素贝叶斯NB

本文介绍了统计学习中的关键模型，包括EM算法、朴素贝叶斯模型、图规划模型、隐马尔可夫模型及条件随机场等。重点讲解了EM算法的工作原理及其在不同模型中的应用，探讨了朴素贝叶斯模型在分类任务中的表现，并详细分析了隐马尔可夫模型与条件随机场在序列标注问题上的应用。

$\large EM algorithm\Rightarrow \begin{Bmatrix} naive Bayes\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\\ graphical model \begin{Bmatrix} HMM\\ CRF \end{matrix} \end{matrix}$

EM算法

EM算法是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计，或极大后验概率估计。

其过程主要分为两步：

E步，求期望
M步，求极大

因此，又被称为期望极大化算法。

EM算法根据算法不同的初值可能会有不同的参数估计值。

EM算法的导出：

对一个含有隐变量的概率模型，目标时极大化观测数据（不完全数据）Y 关于参数 $\large \theta$ 的对数似然函数，即极大化：

$\large L(\theta) = \logP(Y|\theta) = \log{\sum_ZP(Y,Z|\theta)}=\log\left ( \sum _ZP(Y|Z,\theta)P(Z|\theta) \right )$

EM算法通过迭代逐步近似极大化 L(θ) 假设在第 i 次迭代后 θ 的估计值为 $\large \theta^{(i)}$ ，希望新的估计值 θ 能使 L(θ) 增加，即 L(θ)>L( $\large \theta^{(i)}$ ),并逐步达到极大值。因此考虑两者的差：
$\large L(\theta)-L(\theta^{(i)})=\log \left ( \sum_ZP(Y|Z,\theta)P(Z|\theta) \right )-\log P(Y|\theta^{(i)})\xrightarrow[\log\sum_j \lambda_jy_j \geq\sum_j \lambda_j \log y_j,\;\;\;where\; \lambda_j \geq0,\sum_j \lambda_j=1]{Jensen\;inequality}\\ L(\theta)-L(\theta^{(i)})=\log \left ( \sum_ZP(Z|Y,\theta^{(i)})\frac{P(Y|Z,\theta)P(Z|\theta)}{P(Z|Y,\theta^{(i)})} \right )-\log P(Y|\theta^{(i)})\\ \geq\sum_ZP(Z|Y,\theta^{(i)})\log\frac{P(Y|Z,\theta)P(Z|\theta)}{P(Z|Y,\theta^{(i)})}-\log P(Y|\theta^{(i)})\\ =\sum_ZP(Z|Y,\theta^{(i)})\log\frac{P(Y|Z,\theta)P(Z|\theta)}{P(Z|Y,\theta^{(i)})P(Y|\theta^{(i)})}$