频率派和贝叶斯派

最新推荐文章于 2025-04-26 10:09:36 发布

丝瓜蛋汤

最新推荐文章于 2025-04-26 10:09:36 发布

阅读量352

点赞数 3

文章标签：机器学习算法人工智能

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/kexin197/article/details/147030011

版权

频率派和贝叶斯派是对概率诠释的两大学派。

首先假设有N个样本组成X。每个样本xi是p维向量，每个观测都由p(x| $\theta$ ）生成。

一、频率派

频率派认为参数 $\theta$ 是一个未知常量，X是随机变量，假设xi之间独立同分布(iid independent and identically distributed)【每个随机变量的取值都不依赖于其他随机变量的取值且所有随机变量都服从相同的概率分布】

那么 $p(X|\theta )=\prod_{i=1}^{N}p(x_{i}|\theta )$

似然函数：对于不同的模型参数，出现xi的概率是多少

采用最大对数似然MLE的方法求得 $\theta$ 【将连乘转化成连加】

$\theta _{MLE}=argmax_{\theta }\sum_{i=1}^{N}logp(x_{i}|\theta )$

应用：一系列的统计机器学习算法

应用步骤（最优化理论）：1、建立模型。2、定义损失函数。3、最优化损失函数。

二、贝叶斯派

贝叶斯派认为参数 $\theta$ 不是一个未知常量，而是随机变量。这个 $\theta$ 满足一个预设的先验分布。

根据贝叶斯定理：

$p(\theta |X)=\frac{p(X|\theta *p(\theta ))}{\int_{\theta }^{}p(X|\theta)*p(\theta)d\theta}$

其中后验概率：在观察到新数据之后，对事件发生概率的更新估计

先验概率：基于已有经验或知识对事件发生概率的初始估计

最大化参数后验，可以省略上式中的分母，因为分母和参数 $\theta$ 无关。

$\theta _{MAP}=argmax_{\theta}p(X|\theta )*p(\theta )$

得到后验分布后可以将分布用于预测贝叶斯预测

$p(x_{new}|X)=\int_{\theta }^{}p(x_{new}|\theta )*p(\theta|X)d\theta$

应用：概率图模型

三、二者的联系

假设先验分布是均匀分布，取后验概率最大，就从贝叶斯估计转化成了极大似然估计。

参考

(系列一) 绪论-频率派vs贝叶斯派_哔哩哔哩_bilibili

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。