机器学习（二）概率密度分布之参数估计

机器学习（二）概率密度估计之参数估计

2018/2/19
by ChenjingDing

---

概率密度估计总体上可分为两种方法，参数估计和非参数估计的方法。

一.参数估计

假设随机变量服从不同的分布，则可以求取该分布概率密度函数的参数。频率学派认为该参数是固定的，因此产生了最大似然估计。而贝叶斯学派认为该参数也是随机变量，产生了贝叶斯学习的方法。

1.1最大似然估计

*1.1.1最大似然估计的基本原理

目标函数：
找到参数$\theta$ 使得样本x出现的概率最大。即：$\theta = argmax_\theta p(x|\theta)$
利用导数求极值：

$$L(\theta) = p(x | θ) = \prod_{i=1}^n p(x_i|θ)(所有样本都独立同分布)\\ E(θ)=-\ln p(x|θ)= - \ln \prod_{i=1}^n p(x_i|θ)\\ =- \sum_{i=1}^n \ln p(x_i|θ) \\ $$ $max L(\theta)$就相当于 $minE(\theta)$,所以目标函数是 $\theta = arg min_\theta E(\theta)$；
$$\frac{\partial E(\theta)}{\partial \theta} = - \frac{\partial \sum_{i=1}^n \ln p(x_i|θ) }{\partial \theta} = - \sum_{i=1}^n \frac{\partial p(x_i|θ)}{ p(x_i|θ) \partial \theta} = 0$$ 根据上式即可求得 $\theta$。

1.1.2高斯分布的最大似然估计

假设随机变量X服从一维高斯分布，样本 x=(