最大似然估计

最新推荐文章于 2020-07-17 18:02:58 发布

kanbuqinghuanyizhang

最新推荐文章于 2020-07-17 18:02:58 发布

阅读量562

点赞数

分类专栏：笔记机器学习面试

本文链接：https://blog.youkuaiyun.com/kanbuqinghuanyizhang/article/details/78993470

版权

最大似然估计是一种统计参数估计方法，通过最大化观察数据出现的概率来确定参数值。例如，对于抛硬币问题，求解出正面概率的最大似然估计为49/80。这种方法适用于离散分布（如伯努利分布）和连续分布（如正太分布），并且可以扩展到条件概率估计，如在监督学习中的线性回归。最大似然估计通常涉及对数似然函数的优化，以简化计算并避免数值下溢的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最大似然估计简单的理解就是给定已知样本，推导出最有可能（最大概率）导致出现这样结果的参数值
先举个例子来说：
抛硬币80次，49次正面，31次反面，我们需要求出抛硬币为正面的概率p。那出现这个情况的概率为 $p^{49}(1-p)^{31}$ ，求出 $p$ 的值使得该值为最大值。这时只需要求上述式子求导并令一阶导数为零就可以求出 $p$ 的值了。解得最大似然值 $\hat{p}=49/80$

公式

考虑一组含有 m 个样本的数据集 $X = {x(1), . . . , x(m)}$ ，由 独立分布（重要的前提） 真实的数据分布 $p_{data}(x)$ 生成。
对 $θ$ 的最大似然估计被定义为:
$\theta_{ml} = \mathop{argmax}_{\theta}\,p_{model}(X;\theta)= \mathop{argmax}_{\theta}\,\prod_{i=0}^m p_{model}(x^{(i)};\theta)$