MLE和MAP

Q：请解释什么叫MLE，什么叫MAP? 请说明它们之间的区别。 在数据量无穷多的时候，是否MAP 趋近于MLE估计?

最大似然估计（MLE，Maximum Likelihood Estimation）根据数据来估计模型的参数。MLE的目标是找出一组参数，使得模型产生出观测数据的概率最大。简单地说，MLE就是根据观测到的数据来估计参数（数据产生的环境）。

观测到一堆数据，假如我们知道它是从某一种分布中随机取出来的，可是我们并不知道这个分布具体的参数，即“模型已定，参数未知”。例如，我们知道这个分布是正态分布，但是不知道均值和方差；或者是二项分布，但是不知道均值。

举个例子，我们一枚硬币抛了10次，得到的数据（x）是：反正正正正反正正正反。我们想求的抛硬币出现正面概率θ，即模型参数，而抛硬币模型我们可以假设是二项分布。

那么，出现实验结果x，即反正正正正反正正正反的似然函数是多少呢？

f(x,θ)=(1−θ)×θ×θ×θ×θ×(1−θ)×θ×θ×θ×(1−θ)=θ^7 *(1−θ) ^3

而最大似然估计，顾名思义，就是要最大化这个函数。我们可以很容易地求得θ为0.7 。

且慢，一些人可能会说，硬币一般都是均匀的啊！ 就算你做实验发现结果是“反正正正正反正正正反”，我也不信θ=0.7
这样，我们已经完成了对θ

到这里我们就完成了最大似然估计。即，抛10次硬币，发现7次硬币正面向上，最大似然估计认为正面向上的概率是0.7。

且慢，一些人可能会说，硬币一般都是均匀的啊！ 就算你做实验发现结果是“反正正正正反正正正反”，我也不信θ=0.7。

这里就包含了贝叶斯学派的思想了——要考虑先验概率。 为此，引入了MAP——最大后验概率估计。

最大似然估计是求参数θ, 使似然函数P(x|θ)最大。最大后验概率估计则是想求θ使P(x|θ)P(θ)最大。求得的θ不单单让似然函数最大，θ自己出现的先验概率也得大。 这有点像正则化里加惩罚项的思想，不过正则化里是利用加法，而MAP里是利用乘法。

MAP其实是在最大化P(θ|x)=P(x|θ)P(θ)/P(x)，不过因为x是确定的（即投出的“反正正正正反正正正反”），P(x)是一个已知值，所以去掉了分母P(x)（假设“投10次硬币”是一次实验，实验做了1000次，“反正正正正反正正正反”出现了n次，则P(x)=n/1000。总之，这是一个可以由数据集得到的值）。最大化P(θ|x)的意义也很明确，x已经出现了，要求θ取什么值使P(θ|x)最大。P(θ|x)即后验概率，这就是“最大后验概率估计”名字的由来。MAP就是多个作为因子的先验概率P(θ)。或者，也可以反过来，认为MLE是把先验概率P(θ)认为等于1，即认为θ是均匀分布。

另一方面，最大后验概率可以看作是对先验和MLE的一种折衷，如果数据量足够大，最大后验概率和最大似然估计趋向于一致。

扩展阅读：关于频率派与贝叶斯学派的讨论

对于传统的频率学来说，需要推断的参数θ是固定未知的，是个确定的值，而样本是随机的，所以频率派重点研究样本空间，大部分的概率计算都是针对样本X 的分布。

例如：有一个袋子，里面装着若干个白球和黑球，请问从袋子中取得白球的概率是多少？”他们会想都不用想，会立马告诉你，取出白球的概率就是1/2，要么取到白球，要么取不到白球，即θ只能有一个值，而且不论你取了多少次，取得白球的概率θ始终都是1/2，即不随观察结果X 的变化而变化。

而贝叶斯派的观点则截然相反，他们认为参数是随机变量，而样本X 是固定的，由于样本是固定的，所以他们重点研究的是参数的分布。

贝叶斯学派并不从试图刻画「事件」本身，而从「观察者」角度出发。贝叶斯学派并不试图说「事件本身是随机的」，或者「世界的本体带有某种随机性」，这套理论根本不言说关于「世界本体」的东西，而只是从「观察者知识不完备」这一出发点开始，构造一套在贝叶斯概率论的框架下可以对不确定知识做出推断的方法。频率学派下说的「随机事件」在贝叶斯学派看来，并不是「事件本身具有某种客观的随机性」，而是「观察者不知道事件的结果」而已，只是「观察者」知识状态中尚未包含这一事件的结果。但是在这种情况下，观察者又试图通过已经观察到的「证据」来推断这一事件的结果，因此只能靠猜。贝叶斯概率论就想构建一套比较完备的框架用来描述最能服务于理性推断这一目的的「猜的过程」。因此，在贝叶斯框架下，同一件事情对于知情者而言就是「确定事件」，对于不知情者而言就是「随机事件」，随机性并不源于事件本身是否发生，而只是描述观察者对该事件的知识状态。

总的来说，贝叶斯概率论为人的知识（knowledge）建模来定义「概率」这个概念。频率学派试图描述的是「事物本体」，而贝叶斯学派试图描述的是观察者知识状态在新的观测发生后如何更新。为了描述这种更新过程，贝叶斯概率论假设观察者对某事件处于某个知识状态中（例如：小明先验地相信一枚硬币是均匀的，可能是出于认为均匀硬币最常见这种信念），之后观察者开始新的观测或实验（小明开始不断地抛硬币，发现抛了100次后，居然只有20次是正面朝上）。经过中间的独立重复试验，观察者获得了一些新的观测结果，这些新的观测将以含有不确定性的逻辑推断的方式影响观察者原有的信念（小明开始怀疑这枚硬币究竟是不是均匀的，甚至开始断定硬币并不均匀）。在这一过程中，观察者无法用简单的逻辑来推断，因为观察者并没有完全的信息作为证据，因此只能采用似真推断（plausible reasoning），对于各种各样可能的结果赋予一个「合理性」（plausibility）。例子中，小明原先认为硬币的分布是均匀的，于是根据小明原有的信念，这个论断合理性非常高；在观察到100次抛掷中只有20次正面朝上后，小明开始怀疑硬币的均匀性，此时小明很可能认为「硬币不均匀」这一推断的合理性很高，支持的证据就是他刚刚实验的观测结果。

对比以上传统频率学派和贝叶斯学派差异来说，两者的立足点和着眼点不同，频率学派从「自然」角度出发，试图直接为「事件」本身建模，即事件A在独立重复试验中发生的频率趋于极限p，那么这个极限就是该事件的概率。参数是固定的，样本是随机的，只要样本分布确定了，参数就是个固定的确定的值，他们相信数据都是在这个空间里的”某个“参数值下产生的（虽然你不知道那个值是啥，但他是个已经存在和不变的数），所以他们的方法论一开始就是从“哪个值最有可能是真实值”这个角度出发的。于是就有了最大似然（maximum likelihood）以及置信区间（confidence interval）这样的东西，你从名字就可以看出来他们关心的就是我有多大把握去圈出那个唯一的真实参数；而贝叶斯学派则认为，参数是随机的，样本是固定的，随着实验结果的出现，我们不断获取新的样本信息，并且不断去修正参数，参数是变化着的，他们关心参数空间里的每一个值，因为他们觉得我们又没有上帝视角，怎么可能知道哪个值是真的呢？所以参数空间里的每个值都有可能是真实模型使用的值，区别只是概率不同而已。于是他们才会引入先验分布（prior distribution）和后验分布（posterior distribution）这样的概念来设法找出参数空间上的每个值的概率。最好诠释这种差别的例子就是想象如果你的后验分布是双峰的，频率学派的方法会去选这两个峰当中较高的那一个对应的值作为他们的最好猜测，而贝叶斯学派则会同时报告这两个值，并给出对应的概率。

频率学派的起点是由参数决定数据分布，数据一旦定了，参数就确定了，我们做的是逼近参数的真实值，例如以频率近似概率，模型是确定的，即使有了大量实验结果也不需要考虑新的样本信息，即是不考虑其先验概率；而贝叶斯学派的起点是，数据分布决定参数，刚开始我们只有对参数的先验知识(以频率近似概率)，而不知道数据分布，在进行大量实验后，不断获取新的数据样本，可能需要调整模型（即调整先验概率）。

转自：
https://blog.youkuaiyun.com/Mr_tyting/article/details/62882162