极大似然估计法推出朴素贝叶斯法中的先验概率估计公式（转载）

最新推荐文章于 2025-07-09 12:34:53 发布

转载最新推荐文章于 2025-07-09 12:34:53 发布 · 1.5k 阅读

·

1

·

AI 专栏收录该内容

14 篇文章

订阅专栏

本文介绍了一种利用极大似然估计和拉格朗日乘子法进行参数估计的方法。通过定义随机变量的概率密度函数，并引入拉格朗日乘子解决约束最优化问题，实现了参数的有效估计。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

令参数 $P(Y=c_k)=\theta_k$ ，其中 $k\in \left\{ 1,2..K \right\}$ 。

那么随机变量Y的概率可以用参数来表示为一个紧凑的形式 $P(Y)=\sum_{k=1}^{K}{\theta_k} I(Y=c_k)$ ，I是指示函数 Y=c_k

Y=c_k

成立时，I=1；否则I=0。

极大似然函数 $L(\theta_k;y_1,y_2..y_N)=\prod_{i=1}^{N}P(y_i) =\prod_{k=1}^{K}\theta_k^{N_k}$ ，其中N为样本总数， N_k

N_k

为样本中

Y=c_k

的样本数目，取对数得到 $l(\theta_k)=ln(L(\theta))=\sum_{k=1}^{K}{N_k ln\theta_k}$ ，

要求该函数的最大值，注意到约束条件 $\sum_{k=1}^{K}{\theta_k} =1$ 可以用拉格朗日乘子法，即 $l(\theta_k,\lambda)=\sum_{k=1}^{K}{N_k ln\theta_k} +\lambda(\sum_{k=1}^{K}{\theta_k} -1)$ ，求导就可以得到： $\frac{N_k}{\theta_k}+\lambda=0$ 联立所有的k以及约束条件得到 $\theta_k=\frac{N_k}{N}$ ，完毕

作者：Fisher
链接：https://www.zhihu.com/question/33959624/answer/93958363
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。