参数估计：最大似然估计、贝叶斯估计与最大后验估计

最新推荐文章于 2022-09-27 19:09:34 发布

原创

最新推荐文章于 2022-09-27 19:09:34 发布 · 3.9k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#参数估计 #最大似然估计 #贝叶斯估计 #最大后验估计

本文介绍了参数估计的三种概率方法：最大似然估计、贝叶斯估计和最大后验估计。最大似然估计寻找使观察数据可能性最大的参数值；贝叶斯估计结合先验知识确定参数的后验概率分布；最大后验估计则直接获取使后验概率最大的参数估计。三种方法各有优劣，适用场景不同，贝叶斯方法尤其在利用先验信息时效果显著。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

简介：

在概率统计中有两种主要的方法：参数统计和非参数统计（或者说参数估计和非参数估计）。其中，参数估计是概率统计的一种方法。主要在样本知道情况下，一般知道或假设样本服从某种概率分布，但不知到具体参数（或者知道具体模型，但不知道模型的参数）。参数估计就是通过多次试验，观察其结果，利用结果推出参数的大概值。（当你推出参数的极大可能值时，就相当于知道了分布及其参数情况，就可以利用它来推测其他样例出现的概率了。这属于应用了）

参数估计的方法有多种，这里我们分析三种基于概率的方法，分别是最大似然估计（Maximum Likelihood）、贝叶斯估计（Bayes）和最大后验估计（Maximum a posteriori）。我们假设我们观察的变量是 $x$ ，观察的变量取值（样本）为 $\mathcal{D}=\{x_1, ...,x_N\}$ ，要估计的参数是 $\theta$ ， $x$ 的分布函数是 $p(x|\theta)$ （我们用条件概率来显式地说明这个分布是依赖于 $\theta$ 取值的）。实际中， $x$ 和 $\theta$ 都可以是几个变量的向量，这里我们不妨认为它们都是标量（theta若是标量求导，若是向量求偏导）。这里的p(x|θ)可以是高斯分布或其他分布。