拉格朗日乘子法、极大似然估计、EM算法

基本概念：

拉格朗日乘子法和极大似然估计有什么关系？

拉格朗日乘子用于带约束的优化问题，极大似然估计用于最大化后验概率求参数问题。

极大似然和EM有什么关系？

极大似然估计适合求解不含隐变量的参数问题，而EM算法是用于求解含有隐变量的参数问题。

拉格朗日乘子法：

求$z=f(x,y)$在约束条件$\phi (x,y)=0$与$h(x,y)=0$下的极值：

1、拉格朗日函数：
$$F(x,y,\lambda ,\mu )=f(x,y)+\lambda \phi (x,y)+\mu h(x,y)$$
2、求偏导等于0的方程组：
$$\{\begin{array}{r}{F}_x^{{}^{\prime }}=0\\ F_y^{{}^{\prime }}=0\\ F_{\phi }^{{}^{\prime }}=0\\ F_{\mu }^{{}^{\prime }}=0\end{array}$$

极大似然估计法：

在给定概率模型和一组相互独立的观测样本$x$