《PRML》学习笔记2.1——伯努利分布、二项分布和Beta分布，从贝叶斯观点出发

最新推荐文章于 2025-07-04 11:22:31 发布

Phoenix_Zhang1153

最新推荐文章于 2025-07-04 11:22:31 发布

阅读量5.2k

点赞数 6

CC 4.0 BY-SA版权

分类专栏： PRML学习笔记文章标签： PRML 贝叶斯观点 Beta分布伯努利分布二项分布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/weixin_41400276/article/details/85288216

本文深入探讨了伯努利分布和二项分布，并通过贝叶斯观点介绍了Beta分布。文章阐述了最大似然函数在小样本时可能产生的过拟合问题，指出贝叶斯方法如何利用先验知识缓解这一问题。通过引入Beta分布作为先验概率，解释了其共轭性和在后验概率中的应用，展示了在有限样本情况下，贝叶斯方法如何提供更稳健的模型预测。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.伯努利分布和二项分布

对于伯努利分布，我们是十分熟悉的，从小学开始，老师就教会我们如何对掷硬币这件事进行数据建模：对于一个二元随机变量 $x\in\{0,1\}$ ， x=1 表示掷硬币结果为正面朝上， x=0 表示反面朝上。根据常识，我们都认为两种情况概率各为0.5。那么，如果遇到一个破损的硬币，将 x=1 的概率记作参数 $\mu$ ，因此：

$\large p\(x=1|\mu\)=\mu$ (1)

其中 $0\leq\mu\leq1$ ，同理可知 $p\(x=0|\mu\)=1-\mu$ 。这种分布(伯努利分布)的概率分布可以写成：

$\large p\(x|\mu\)=\(1-\mu\)^{1-x}\cdot\mu^{x}$ (2)

对于伯努利分布，满足：

$\large \mathbb{E}\[x\]=\mu$ (3)

$\large \mathrm{var}\[x\]=\mu\cdot\(1-\mu\)$ (4)

假设有一个数据集

最低0.47元/天解锁文章

200万优质内容无限畅学

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。