文本语言模型的参数估计-最大似然估计、MAP及贝叶斯估计及跟NLP推荐的好博客

Tiffany_Li2015

于 2016-06-15 20:04:34 发布

阅读量2k

点赞数

CC 4.0 BY-SA版权

分类专栏：数学基础及杂文

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/Tiffany_Li2015/article/details/51684082

博客介绍了文本分析的三种主要参数估计方法：最大似然估计、最大后验概率估计和贝叶斯估计。详细讲解了MLE如何寻找似然函数最大值，MAP在MLE基础上引入先验概率，并讨论了贝叶斯估计中的共轭分布概念。适合NLP初学者理解这些基本概念。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

http://blog.youkuaiyun.com/yangliuy/article/details/8296481

博客2：http://licstar.net/archives/687

非常好的一篇文章。普及NLP常见的数学常识。如：

1、文本分析的三种参数分析方法：最大似然估计MLE，最大后验概率估计MAP，贝叶斯估计。

1.1 最大似然估计MLE

最大似然估计就是要用似然函数取到最大值时的参数值作为估计值，似然函数可以写做

$L(\theta | X) = p(X | \theta) = \prod_{x \in X}{p(X = x | \theta)}$

由于连乘

$\hat{\theta}_{ML} = argmax_\theta L(\theta | X) = argmax_\theta \sum_{x \in X}\log p(x|\theta)$

该函数取得最大值是对应的 $\theta$ 的取值就是我们估计的模型参数。

1.2 最大后验概率MAP

与最大似然概率不同的是：引入先验概率

最低0.47元/天解锁文章

200万优质内容无限畅学

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。