极大似然估计

一、前言

• 似然估计是最传统、使用最广泛的参数估计方法之一，而参数估计是机器学习里面的一个重要主题。
• 对于一系列观察数据，可以找到一个具体分布来描述，但不清楚分布的参数。这时候就需要用极大似然估计来求解这个分布的参数。
• 极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”

二、概述

1.本质：对于极少的样本观测，极大似然估计认为，观测到的样本就是发生概率最大的。
2.似然函数：前提是样本独立同分布，似然函数$L(p)$是每个样本出现概率的乘积p(xi)。
3.极大似然估计的思想：让似然函数$L(p)$的值最大，把这时对应的概率$p$作为我们的估计值。

求一阶导数得到似然函数的最大值点p：$\frac{dL(p)}{dp}=0$

4.极大似然估计蕴含了估计量的泛函不变性、相合性、渐近有效性和渐进正态等诸多逆天的性质。
5.极大似然估计暗合了切比雪夫大数定律，所以在用“局部估计整体”时，可以说使用了极大似然估计法，也可以说根据大数定律。

三、具体步骤

1.似然函数

大似然估计值$\hat{\theta }$都满足：$L(\hat{\theta })=\max L(data|\theta )$,data=(x1,x2,…,xn)表示样本数据的集合，θ=(p1,p2,…,pn)是参数(概率)的集合，例如抛硬币就只有正面反面两个概率 [公式]，投掷骰子就有六个面的六个概率
其中，对于离散型随机变量的似然函数是：$L(data|\theta )={\prod }_{i=1}^{N}P(x_i)$
连续性随机变量的似然函数是：$L(\theta )={\prod }_{i=1}^{N}P(x_i)$

2.样本假设：假设样本观测值为xi
3.求解方程：

求似然函数的一阶导：$\frac{dL(p)}{dp}=0$或者$\frac{d(\ln L(p))}{dp}=0$
注意：当方程无解时，应从定义出发，考虑L(θ)的单调性，找到maxL(θ)对应的估计值。

4.带入数据：将xi用真实数据替换
注意：若是多参数，则似然函数对各部分参数求偏导组成方程组来进行求解

四、常用分布的估计值

任意概率分布：$\hat{p}=\frac{k}{N}$
正态分布：$\hat{\mu }=\overline{x}=\frac{1}{n}{\sum }_{i=1}^n{x}_i,\widehat{{\sigma }^2}=\frac{1}{n}{\sum }_{i=1}^N(x_i–\overline{x}{)}^2$
泊松分布：$\hat{\lambda }=\overline{x}=\frac{1}{n}{\sum }_{i=1}^n{x}_i$
均匀分布：$\hat{a}=\min x_i,\hat{b}=\max x_i$

五、最大似然估计和贝叶斯估计

最大似然估计是传统频率派估计参数的方法，认为θ是一个固定的值。
贝叶斯估计是贝叶斯统计派估计参数的方法。认为θ是一个满足某个分布的随机变量。泛化能力更好，但计算更复杂。