概率与似然

最新推荐文章于 2024-08-21 11:28:04 发布
原创 最新推荐文章于 2024-08-21 11:28:04 发布 · 1.2w 阅读 · 48 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#交通 #百度 #工作

本文假设大家都知道什么叫条件概率了（P(A|B)表示在B事件发生的情况下，A事件发生的概率）。

先验概率和后验概率

教科书上的解释总是太绕了。其实举个例子大家就明白这两个东西了。

假设我们出门堵车的可能因素有两个（就是假设而已，别当真）：车辆太多和交通事故。

堵车的概率就是先验概率 。

那么如果我们出门之前我们听到新闻说今天路上出了个交通事故，那么我们想算一下堵车的概率，这个就叫做条件概率 。也就是P(堵车|交通事故)。这是有因求果。

如果我们已经出了门，然后遇到了堵车，那么我们想算一下堵车时由交通事故引起的概率有多大，

那这个就叫做后验概率 （也是条件概率，但是通常习惯这么说） 。也就是P(交通事故|堵车)。这是有果求因。

 

下面的定义摘自百度百科：

先验概率是指根据以往经验和分析得到的概率,如全概率公式,它往往作为"由因求果"问题中的"因"出现.

后验概率是指依据得到"结果"信息所计算出的最有可能是那种事件发生,如贝叶斯公式中的,是"执果寻因"问题中的"因".

 

那么这两个概念有什么用呢？

 

最大似然估计

我们来看一个例子。

有一天，有个病人到医院看病。他告诉医生说自己头痛，然后医生根据自己的经验判断出他是感冒了，然后给他开了些药回去吃。

 

有人肯定要问了，这个例子看起来跟我们要讲的最大似然估计有啥关系啊。

关系可大了，事实上医生在不知不觉中就用到了最大似然估计（虽然有点牵强，但大家就勉为其难地接受吧^_^）。

 

怎么说呢？

大家知道，头痛的原因有很多种啊，比如感冒，中风，脑溢血...（脑残>_<这个我可不知道会不会头痛，还有那些看到难题就头痛的病人也不在讨论范围啊！）。

那么医生凭什么说那个病人就是感冒呢？哦，医生说这是我从医多年的经验啊。

 

咱们从概率的角度来研究一下这个问题。

其实医生的大脑是这么工作的，

他计算了一下

P(感冒|头痛)（头痛由感冒引起的概率，下面类似）

P(中风|头痛)

P(脑溢血|头痛)

...

然后这个计算机大脑发现，P(感冒|头痛)是最大的，因此就认为呢，病人是感冒了。看到了吗？这个就叫最大似然估计（Maximum likelihood estimation，MLE） 。

咱们再思考一下，P(感冒|头痛)，P(中风|头痛)，P(脑溢血|头痛)是先验概率还是后验概率呢？

没错，就是后验概率。看到了吧，后验概率可以用来看病（只要你算得出来，呵呵）。

 

事实上，后验概率起了这样一个用途，根据一些发生的事实（通常是坏的结果），分析结果产生的最可能的原因，然后才能有针对性地去解决问题。

 

那么先验概率有啥用呢？

我们来思考一下，P(脑残|头痛)是怎么算的。

 

P(脑残|头痛)=头痛的人中脑残的人数/头痛的人数

 

头痛的样本倒好找，但是头痛的人中脑残的人数就不好调查了吧。如果你去问一个头痛的人你是不是脑残了，我估计那人会把你拍飞吧。

 

接下来先验概率就派上用场了。

 

根据贝叶斯公式 ，

P(B|A)=P(A|B)P(B)/P(A)

 

我们可以知道

 

P(脑残|头痛)=P(头痛|脑残)P(脑残)/P(头痛)

 

注意，(头痛|脑残)是先验概率，那么利用贝叶斯公式我们就可以利用先验概率把后验概率算出来了。

 

P(头痛|脑残)=脑残的人中头痛的人数/脑残的人数

 

这样只需要我们去问脑残的人你头痛吗，明显很安全了。

（你说脑残的人数怎么来的啊，那我们就假设我们手上有一份传说中的脑残名单吧。那份同学不要吵，我没说你在名单上啊。

再说调查脑残人数的话咱就没必要抓着一个头痛的人问了。起码问一个心情好的人是否脑残比问一个头痛的人安全得多）

 

我承认上面的例子很牵强，不过主要是为了表达一个意思。后验概率在实际中一般是很难直接计算出来的，相反先验概率就容易多了。因此一般会利用先验概率来计算后验概率。

似然函数与最大似然估计

下面给出似然函数跟最大似然估计的定义。

 

我们假设f是一个概率密度函数，那么

x/mapsto f(x/mid/theta), /!

是一个条件概率密度函数（θ 是固定的）

 

而反过来，

/theta/mapsto f(x/mid/theta), /!

叫做似然函数 （x是固定的）。

 

一般把似然函数写成

L(/theta /mid x)=f(x/mid/theta), /!

θ是因变量。

 

而最大似然估计 就是求在θ的定义域中，当似然函数取得最大值时θ的大小。

意思就是呢，当后验概率最大时θ的大小。也就是说要求最有可能的原因。

由于对数函数不会改变大小关系，有时候会将似然函数求一下对数，方便计算。

 

例子：

我们假设有三种硬币，他们扔到正面的概率分别是1/3，1/2，2/3。我们手上有一个硬币，但是我们并不知道这是哪一种。因此我们做了一下实验，我们扔了80次，有49次正面，31次背面。那么这个硬币最可能是哪种呢？我们动手来算一下。这里θ的定义域是{1/3，1/2，2/3}

/begin{align} /Pr(/mathrm{H} = 49 /mid p=1/3) & = /binom{80}{49}(1/3)^{49}(1-1/3)^{31} /approx 0.000 //[6pt] /Pr(/mathrm{H} = 49 /mid p=1/2) & = /binom{80}{49}(1/2)^{49}(1-1/2)^{31} /approx 0.012 //[6pt] /Pr(/mathrm{H} = 49 /mid p=2/3) & = /binom{80}{49}(2/3)^{49}(1-2/3)^{31} /approx 0.054. /end{align}

当p=2/3时，似然函数的值最大，因此呢，这个硬币很可能是2/3。


参考资料

http://en.wikipedia.org/wiki/Likelihood_function

http://en.wikipedia.org/wiki/Maximum_Likelihood

 

 

 

 

区分概率与似然
一个搬运知识的笨小孩
10-08 608
简要区分概率与似然
似然概率、先验概率、后验概率和边缘概率
weixin_47695827的博客
08-26 2503
概率类型定义应用场景似然概率给定输出时，关于参数的似然函数参数估计，特别是最大似然估计先验概率根据以往经验和分析得到的概率贝叶斯统计推断中的初始信念后验概率通过新信息修正后的先验概率贝叶斯统计推断中的更新信念边缘概率某个事件发生的概率，与其它事件无关多维随机变量的概率分析中，仅考虑某一维的概率分布这些概念在概率论、统计学和机器学习中都有着广泛的应用。
[转]先验概率与后验概率的区别（老迷惑了）
随笔
10-19 1236
先验（A priori；又译：先天）在拉丁文中指“来自先前的东西”，或稍稍引申指“在经验之前”。近代西方传统中，认为先验指无需经验或先于经验获得的知识。它通常与后验知识相比较，后验意指“在经验之后”，需要经验。这一区分来自于中世纪逻辑所区分的两种论证，从原因到结果的论证称为“先验的”，而从结果到原因的论证称为“后验的”。 先验概率是指根据以往经验和分析得到的概率，如全概率公式 中的，它往往作为“由因求果”问题中的“因”出现。后验概率是指在得到“结果”的信息后重新修正的概率，是“执果寻因”问题中的“因”.
机器学习——先验概率、后验概率、全概率公式、贝叶斯公式
热门推荐
fortune_cookie的博客
09-30 1万+
先验概率（prior probability）是指根据以往经验和分析得到的概率，如全概率公式，它往往作为"由因求果"问题中的"因"出现的概率。后验概率是指在得到“结果”的信息后重新修正的概率，是“执果寻因”问题中的"果"。贝叶斯公式就是当已知结果，问导致这个结果的第 i 原因的可能性是多少。
什么是先验概率？什么是后验概率？
羊老羊
12-22 1万+
先验概率 后验概率
先验 后验概率 与 极大 最大似然估计 的异同
HPU_FRDHR的博客
04-09 1218
先验概率 先验概率（prior probability）是指根据以往经验和分析得到的概率。例如投硬币事件，我们在执行这个事件之前就已经了解其符合二项分布，然后直接根据二项分布分析出的概率被称作是先验概率。它往往作为"由因求果"问题中的"因"出现的概率。 在贝叶斯统计推断中，不确定数量的先验概率分布是在考虑一些因素之前表达对这一数量的置信程度的概率分布。例如，先验概率分...
先验概率与后验概率、贝叶斯区别与联系
开心妙妙屋
10-30 5908
事情还没有发生,要求这件事情发生的可能性的大小,是先验概率.  事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小,是后验概率. 一、先验概率是指根据以往经验和分析得到的概率，如全概率公式，它往往作为“由因求果”问题中的“因”出现。后验概率是指在得到“结果”的信息后重新修正的概率，如贝叶斯公式中的，是“执果寻因”问题中的“因”。先验概率与后验概率有不可分割的联系，后验概率的
先验概率、后验概率、似然估计三者的区别与联系
qq_45756171的博客
04-19 3538
在机器学习日渐风靡于全世界的今天，概率论与数理统计作为机器学习的关键理论越来越体现出它的重要地位。本文模仿《机器学习》中周志华老师的举例，以西瓜的品质好坏为例，对三个概念：先验概率、后验概率、似然估计展开讨论，帮助读者深刻了解。 前言 随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容：概率论与数理统计中的先验概率、后验概率、似然估计三者的区别与联系。 首先我们假设有一个村是全村种瓜，这个村每个人有一块瓜地，假设这个村有若干人并且足够多。客
概率、似然与极大似然估计
jikuibu
03-21 1709
今天来学习极大似然估计这个颇为抽象的内容。 1、似然与概率的概念 二者看似相近，实则不同。在统计学中，似然函数（likelihood function，通常简写为likelihood，似然）是一个重要内容，在非正式场合似然和概率（Probability）几乎是一对同义词，但是在统计学中似然和概率却是两个不同的概念。 概率是在特定环境下某件事情发生的可能性，也就是结果没有产生之前依据环境所对应...
【知识笔记】贝叶斯公式、先验概率、后验概率、似然
Everyday try to become better -Kobe Bryant
07-01 3851
先验概率：在观察数据之前，我们对某一事件或参数的初始信念。似然：在给定参数的条件下，观察到某一数据的概率。后验概率：在观察数据之后，结合先验概率和似然更新后的信念。贝叶斯公式将先验概率和似然结合起来，提供了一个更新信念的系统方法，从而得到后验概率。通过这种方式，我们可以在有新数据时不断更新和改进我们的模型和预测。
似然值和条件概率
qq_27390023的博客
08-21 619
似然值和条件概率是密切相关的概念，但它们在统计推断中的角色不同。条件概率用于描述事件之间的概率关系，而似然值则用于评估或比较不同假设下数据出现的可能性。
先验概率、后验概率和似然函数的区别和联系
konglong2017的博客
12-18 2236
1、先验概率 先验概率，既是知因寻果，根据以往经验和分析得到的概率。可以将其看作“统计概率”。假设早晨你开车去上班，风和日丽，根据你平时上班的经历，路上堵车的概率很小。这个就是先验概率。 2、后验概率 后验概率，既是知果寻因，是指依据得到”结果”信息所计算出的最有可能是那种事件发生。可以将其看作“条件概率”。比如在你临出门之前，新闻突然播报在你必经的那个十字路口发生了车祸，根据这一新得到的信...
先验概率vs后验概率
bluenight专栏
10-26 1245
对上帝来说，一切都是确定的，因此概率作为一门学问存在，正好证明了人类的无知。好在人类还是足够聪明的，我们并没有因为事物是随机的而束手无措，我们根据事物的可能性来决定我们的行为。比如，某个人抢银行之前，一定反反复复考虑过各种可能性。如果人们要等到一切都确定后再做，那么你可能什么都做不了，因为几乎一切都是随机的。   一个事情有N种发生的可能性，我们不能确信哪种会发生，是因为我们不能控制结果的发生
先验概率与后验概率的区别
水滴石穿
12-01 2649
先验，在拉丁文中指“来自先前的东西”，或稍稍引申指“在经验之前”。近代西方传统中，认为先验指无需经验或先于经验获得的知识。它通常与后验知识相比较，后验意指“在经验之后”，需要经验。这一区分来自于中世纪逻辑所区分的两种论证，从原因到结果的论证称为“先验的”，而从结果到原因的论证称为“后验的”。     先验概率是指根据以往经验和分析得到的概率，如全概率公式 中的 ，它往往作为“由因求果”问题中的“
先验概率和后验概率的区别
weixin_42776646的博客
03-17 1121
这是与贝叶斯概率更新有关的两个概念。假如某一不确定事件发生的主观概率 因为某个新情况的出现 而发生了改变，那么改变前的那个概率就被叫做先验概率，改变后的概率就叫后验概率。 举个简单的更新概率的例子。 想象有 A、B、C 三个不透明的碗倒扣在桌面上，已知其中有（且仅有）一个瓷碗下面盖住一个鸡蛋。此时请问，鸡蛋在 A 碗下面的概率是多少？答曰 1/3。 现在发生一件事：有人揭开了 C 碗，发现 C 碗...
先验概率，后验概率，似然概率，条件概率，贝叶斯，最大似然
Flyer
07-09 2412
先验概率，后验概率，似然概率，条件概率，贝叶斯，最大似然 总是搞混，这里总结一下常规的叫法： 先验概率： 事件发生前的预判概率。可以是基于历史数据的统计，可以由背景常识得出，也可以是人的主观观点给出。一般都是单独事件概率，如P(x),P(y)。 后验概率： 事件发生后求的反向条件概率；或者说，基于先验概率求得的反向条件概率。概率形式与条件概率相同。 条件概率
先验概率与后验概率
领悟 释然
07-28 1472
此为Bayesian先生      先验（Apriori；又译：先天）在拉丁文中指“来自先前的东西”，或稍稍引申指“在经验之前”。近代西方传统中，认为先验指无需经验或先于经验获得的知识。它通常与后验知识相比较，后验意指“在经验之后”，需要经验。这一区分来自于中世纪逻辑所区分的两种论证，从原因到结果的论证称为“先验的”，而从结果到原因的论证称为“后验的”。    先验概率是指根据以往经验和分析
边缘概率，似然
最新发布
08-25
### 三、边缘概率与似然的概念区别 在统计学和机器学习中，**边缘概率（Marginal Probability）**与**似然（Likelihood）**是两个密切相关但含义不同的概念。它们在概率建模、参数估计和贝叶斯推断中扮演着关键角色。 #### 1. 边缘概率的定义与作用 边缘概率是指在联合概率分布中，忽略某些变量后剩余变量的概率分布。例如，若 $ P(X, Y) $ 是 $ X $ 和 $ Y $ 的联合分布，则 $ P(X) $ 是 $ X $ 的边缘概率分布，计算方式为： $$ P(X) = \sum_Y P(X, Y) $$ 边缘概率常用于**概率图模型**和**贝叶斯网络**中，用于简化复杂联合分布的计算。它也用于**期望最大化（EM）算法**中，在E步计算隐变量的后验概率时，需要用到边缘概率来归一化[^1]。 #### 2. 似然的定义与作用 似然函数描述的是在给定参数 $ \theta $ 的条件下，观测数据 $ D $ 出现的概率，记为 $ L(\theta | D) = P(D | \theta) $。在经典统计推断中，目标是寻找使似然函数最大化的参数值，即最大似然估计（MLE）[^4]。 在贝叶斯统计中，似然函数与先验分布结合，通过贝叶斯定理计算后验分布： $$ P(\theta | D) \propto P(D | \theta) P(\theta) $$ 这使得似然成为连接数据与参数不确定性的重要桥梁[^1]。 #### 3. 边缘概率与似然的区别 尽管边缘概率和似然都涉及联合分布的处理，但它们的用途和数学表达方式有本质区别： - **数学形式不同**：边缘概率是将联合分布对无关变量求和或积分，而似然是固定数据后，关于参数的函数。 - **应用场景不同**：边缘概率用于描述变量自身的分布，而似然用于参数估计和模型比较。 - **在贝叶斯推断中的角色不同**：似然是构建后验分布的核心成分，而边缘概率通常用于归一化或模型选择中的边缘似然（marginal likelihood）计算[^1]。 --- ### 四、似然在统计推断中的应用 似然函数在统计推断中具有广泛的应用，尤其在参数估计和模型比较中： - **最大似然估计（MLE）**：寻找使似然函数最大化的参数值，用于点估计。 - **似然比检验（LRT）**：用于比较两个嵌套模型的拟合优度。 - **贝叶斯推断中的似然**：结合先验分布计算后验分布，用于不确定性建模和预测。 在复杂模型中，如高斯混合模型（GMM），似然函数可能涉及多个参数，通常难以解析求解，需借助数值方法（如EM算法）进行优化。 --- ### 五、边缘概率在机器学习中的应用 边缘概率在以下机器学习任务中具有重要应用： - **概率图模型**：如隐马尔可夫模型（HMM）中，通过边缘概率计算观测序列的概率。 - **变分推断**：在近似贝叶斯推断中，边缘概率用于构建变分目标函数。 - **模型选择**：在贝叶斯模型比较中，使用边缘似然（marginal likelihood）衡量模型对数据的整体拟合能力[^1]。 --- ### 示例：贝叶斯分类中的边缘概率与似然 在朴素贝叶斯分类器中，类别 $ C $ 的后验概率为： $$ P(C | x) = \frac{P(x | C) P(C)}{P(x)} $$ 其中： - $ P(x | C) $ 是似然函数； - $ P(C) $ 是先验概率； - $ P(x) $ 是边缘概率，作为归一化因子。 ```python # 朴素贝叶斯分类示例 from sklearn.naive_bayes import GaussianNB model = GaussianNB() model.fit(X_train, y_train) y_pred = model.predict(X_test) ``` ---
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值