参数估计方法

极大似然估计（Maximum likelihood estimation,ML）

设样本$\chi=\{X_1,...,X_n\}$为独立同分布，其概率密度函数（PDF）为$p(X_i;\theta)$,$\theta$是密度函数中的参数。极大似然估计就是求使得似然函数（$p(\chi;\theta)$）极大的$\theta$值,通俗地讲就是对于不同的$\theta$取值，找到能使样本$\chi=\{X_1,...,X_n\}$发生的概率最大的$\theta$值$\hat\theta_{ML}$，而这些样本发生的概率为$\prod p(X_i;\theta)$。即:

$\tag{1}$

其中，$p(\chi;\theta)=\prod p(X_i;\theta)=\prod p_{\theta}(X_i)$,式(1)可转化为极大化$\ln P(\theta;\chi )$，可以通过导数并令其为零来求解：

ML估计只是求解使得似然函数最大的$\theta$,没有考虑$\theta$的任何先验知识，属于非贝叶斯方法。而且ML 没有采取任何正则化手段，容易产生过拟合。

最大后验概率(Maximum A Posteriori Probability Estimation,MAP)估计

MAP估计是在观测到样本$\chi$后估算$\theta$最有可能的取值，即计算后验概率$p(\theta|\chi)$取最大值时的$\theta$值，$p(\theta|\chi)$的计算是基于贝叶斯公式的，如下：
$p(\theta_j|\chi)=\frac{p(\chi|\theta_j)p(\theta_j)}{p(\chi)}=\frac{p(\chi|\theta_j)p(\theta_j)}{\sum_j p(\chi|\theta_j)p(\theta_j)} \tag{2}$

其中，$p(\chi)=\sum_j p(\chi|\theta_j)p(\theta_j)$与$\theta$相互独立，这样$p(\chi)$的取值与求解式(2)的极大值无关，可以进一步转化为求$p(\chi|\theta)p(\theta)$的极大值。即：

我们可以看到，上面的求解涉及到$p(\theta)，p(\chi|\theta)$，所以MAP在进行估计时利用了先验知识——$\theta$的分布。为未知随机变量 $\theta$假设一种分布，这也是MAP方法进行正则化的方式。

贝叶斯估计(Bayesian Estimation)

MAP是一种点估计的方法，在似然函数达到最大的情况下，求$\theta$的取值$\hat\theta$。而贝叶斯估计是MAP的扩展版，它估计的不仅仅是$\theta$的一个取值$\hat\theta$，而是整个$\theta$的分布。
$p(\theta|\chi)=\frac{p(\chi|\theta)p(\theta)}{p(\chi)}$
MAP估计过程只用到了上式得分子部分，忽略了正则化项$p(\chi)$，而贝叶斯估计要给出$\theta$分布所以是要计算分母$p(\chi)$的。

参考

贝叶斯统计与机器学习
1.Theodoridis S. Machine learning: a Bayesian and optimization perspective[M]. Academic Press, 2015.