关于极大似然函数与概率的理解

最新推荐文章于 2023-10-26 10:35:31 发布

loserChen.

最新推荐文章于 2023-10-26 10:35:31 发布

阅读量826

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习这件事文章标签：极大似然估计概率理解

本文链接：https://blog.youkuaiyun.com/qq_35564813/article/details/89148763

机器学习这件事专栏收录该内容

4 篇文章

订阅专栏

本文探讨了概率的概念，特别是条件概率p(x|w)，它描述了固定参数w下随机变量x的分布。同时，文章深入讲解了极大似然函数L(θ|x)，即在已知样本x的情况下，寻找使得x出现概率最大的参数θ。通过投掷硬币的例子，直观展示了极大似然估计的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

概率

对概率 $p (x ∣ w)$ 是描述固定参数w时，随机变量x的分布情况。

极大似然函数

对于L(θ|x)=f(x|θ)这个等式表示的是对于事件发生的两种角度的看法。其实等式两遍都是表示的这个事件发生的概率或者说可能性。再给定一个样本x后，我们去想这个样本出现的可能性到底是多大。统计学的观点始终是认为样本的出现是基于一个分布的。那么我们去假设这个分布为f，里面有参数theta。对于不同的theta，样本的分布不一样。f(x|θ)表示的就是在给定参数theta的情况下，x出现的可能性多大。L(θ|x)表示的是在给定样本x的时候，哪个参数theta使得x出现的可能性最大。

例子

对于投硬币来说，我们已知概率正反面分别为0.5，那么假设投硬币投10次那么概率 $p(x1,x2,.....x10∣p=0.5)=11024p(x_1,x_2,.....x_{10}|p=0.5)=\frac{1}{1024}$ ,这是对于概率来说的。
那么对于极大似然函数来说，我们知道结果满足伯努利分布，假设具体的p值我们不知道，我们只知道从该分布取样得到的
PPNNPNPPPP的一组样本，p代表正面，N代表反面，因为我们只知道这组样本，那么极大似然的思想就是求得使这组样本得到概率最大的对应的p。那么L(θ|x)=f(x|θ)=p*p*(1-p)*(1-p)*p*(1-p)*p*p*p*p= $p^7(1-p)3$ ,对于这个例子来说p=0.5的时候，概率等于 $11024\frac{1}{1024}$ ，但是这个时候概率有更大的值，已知当p=0.7的时候概率最大。但是要知道，我们只取了一组样本，当样本足够大的时候，可以得出p=0.5的时候，概率最大，这与上文我们已知p=0.5一致。