极大似然估计的总结

极大似然估计又叫最大似然估计（MLE，Maximum Likelihood Estimation），极大似然在数据分析领域中一般是对变量求偏导数或对矩阵求偏导数，然后偏导数为0求解一般为最小值解。因为统计领域大部分都是下凹的函数。随机误差为正态分布时，极大似然的求解正好为最小二乘求解。

极大似然原理：给定一个概率分布$D$，已知其概率密度函数（连续分布）或概率质量函数（离散分布）为$f_D$，设分布参数为$\theta$，似然函数为：
$$L(\theta |x^{(1)},x^{(2)},...,x^{(n)})=f_{\theta }(x^{(1)},x^{(2)},...,x^{(n)})$$
$f_{\theta }$即为这个采样的概率，若是连续分布，其值为这些采样（$x^{(1)},x^{(2)},...,x^{(n)}$）联合分布的概率密度函数在观测值处的取值。极大似然就是寻找$\theta$可能的取值，使得样本值的概率最大化，也就是样本的可能性最大。所以从数学上就是使得似然函数的值最大，此时的$\theta$的值称为极大似然估计。似然函数是样本的函数。

离散分布极大似然：假设有一个硬币，正反面重量不同，抛出正面的概率为$p$，抛出反面的概率为$1-p$。把这个硬币抛80次，正面记为$H$，反面记为$T$。得到一个样本：$x^{(1)}=H,x^{(2)}=T,...,x^{(80)}=T$，正面49次，反面31次。$p$即为要求的$\theta$。似然函数为：
$$L(p)=f_D(H=49,T=31|p)=(\genfrac{}{}{0ex}{}{80}{49})p^{49}(1-p{)}^{31}$$

求偏导得：
$$\begin{array}{rl}0& =\frac{d}{dp}((\genfrac{}{}{0ex}{}{80}{49})p^{49}(1-p{)}^{31})\\ & =p^{48}(1-p{)}^{30}[49(1-p)-31p]\end{array}$$
得到$p=0,p=1,p=\frac{49}{80}$，这个值可以扩展成一般化$p=\frac{k}{n}$。

连续分布极大似然：连续型似然函数值最大也就是指概率密度函数值的乘积最大（前提是每个样本是独立的，基本都是独立的，这里带验证？）。公式如下：
$$L(\theta )=\prod _{i=1}^n{f}_{\theta }(x^{(i)})$$
一般连续概率分布都服从正太分布$(\mu ,{\sigma }^2)$（实际应用中误差项多服从$(0,{\sigma }^2)$）。似然函数为：
$$\begin{gathered} \prod _{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(x^{(i)}-\mu {)}^2}{2{\sigma }^2}) \\ (\theta =(\mu ,{\sigma }^2)，也就是参数\theta 由\mu 和\sigma 组成) \end{gathered}$$
然后取对数，乘法转为加法，接着求偏导数，并令其等于0得：
$$\hat{\mu }=\frac{1}{n}\sum _{i=1}^n{x}^{(i)},{\hat{\sigma }}^2=\frac{1}{n}\sum _{i=1}^n(x^{(i)}-\hat{\mu }{)}^2$$