概率与似然

概率和似然到底什么关系呢?就跟你推导公式一样,推导公式有两种方法,一种正推,一种逆推。而概率和似然就是这样的一个关系。概率就是我们的正推,似然就是逆推从结果出发。

先举一个生动的小例子:比如说 我们现在有两个黑盒子,1号黑盒子装了99个白球一个黑球,2号黑盒呢刚好相反,打乱两个黑盒,随机从一个黑盒里面拿出一个球 , 发现是黑球,那么正常人应该都想着是从2号黑盒拿出来的,毕竟概率非常大呀。而这样的一个过程就是似然了。

 

概率:从性质来推导出结果,从我们所看到的样本我们能计算出某个样本发生的可能性。

似然:根据结果,来推测最有可能发生的环境或者是参数,就比如上面例子所说最有可能的环境就是2号黑盒。

还有一个类似的例子:

我们假设罐中白球的比例是p,那么黑球的比例就是1-p。因为每抽一个球出来,在记录颜色之后,我们把抽出的球放回了罐中并摇匀,所以每次抽出来的球的颜 色服从同一独立分布。这里我们把一次抽出来球的颜色称为一次抽样。题目中在一百次抽样中,七十次是白球的概率是P(Data | M),这里Data是所有的数据,M是所给出的模型,表示每次抽出来的球是白色的概率为p。如果第一抽样的结果记为x1,第二抽样的结果记为x2... 那么Data = (x1,x2,…,x100)。

P(Data | M)

 = P(x1,x2,…,x100|M)

 = P(x1|M)P(x2|M)…P(x100|M)

 = p^70(1-p)^30.

我们现在的思想就是 抽100次,抽中白球的概率是p,那么这个p为多少时,才最有可能100次里面有70次是白球的。这就是似然。

结果算得p等于0.7,当p等于0.7时 我们正推使用概率的话,100次也是有70次的。

### 三、边缘概率的概念区别 在统计学和机器学习中,**边缘概率(Marginal Probability)****(Likelihood)**是两个密切相关但含义不同的概念。它们在概率建模、参数估计和贝叶斯推断中扮演着关键角色。 #### 1. 边缘概率的定义作用 边缘概率是指在联合概率分布中,忽略某些变量后剩余变量的概率分布。例如,若 $ P(X, Y) $ 是 $ X $ 和 $ Y $ 的联合分布,则 $ P(X) $ 是 $ X $ 的边缘概率分布,计算方式为: $$ P(X) = \sum_Y P(X, Y) $$ 边缘概率常用于**概率图模型**和**贝叶斯网络**中,用于简化复杂联合分布的计算。它也用于**期望最大化(EM)算法**中,在E步计算隐变量的后验概率时,需要用到边缘概率来归一化[^1]。 #### 2. 的定义作用 函数描述的是在给定参数 $ \theta $ 的条件下,观测数据 $ D $ 出现的概率,记为 $ L(\theta | D) = P(D | \theta) $。在经典统计推断中,目标是寻找使函数最大化的参数值,即最大估计(MLE)[^4]。 在贝叶斯统计中,函数先验分布结合,通过贝叶斯定理计算后验分布: $$ P(\theta | D) \propto P(D | \theta) P(\theta) $$ 这使得成为连接数据参数不确定性的重要桥梁[^1]。 #### 3. 边缘概率的区别 尽管边缘概率都涉及联合分布的处理,但它们的用途和数学表达方式有本质区别: - **数学形式不同**:边缘概率是将联合分布对无关变量求和或积分,而是固定数据后,关于参数的函数。 - **应用场景不同**:边缘概率用于描述变量自身的分布,而用于参数估计和模型比较。 - **在贝叶斯推断中的角色不同**:是构建后验分布的核心成分,而边缘概率通常用于归一化或模型选择中的边缘(marginal likelihood)计算[^1]。 --- ### 四、在统计推断中的应用 函数在统计推断中具有广泛的应用,尤其在参数估计和模型比较中: - **最大估计(MLE)**:寻找使函数最大化的参数值,用于点估计。 - **比检验(LRT)**:用于比较两个嵌套模型的拟合优度。 - **贝叶斯推断中的**:结合先验分布计算后验分布,用于不确定性建模和预测。 在复杂模型中,如高斯混合模型(GMM),函数可能涉及多个参数,通常难以解析求解,需借助数值方法(如EM算法)进行优化。 --- ### 五、边缘概率在机器学习中的应用 边缘概率在以下机器学习任务中具有重要应用: - **概率图模型**:如隐马尔可夫模型(HMM)中,通过边缘概率计算观测序列的概率。 - **变分推断**:在近贝叶斯推断中,边缘概率用于构建变分目标函数。 - **模型选择**:在贝叶斯模型比较中,使用边缘(marginal likelihood)衡量模型对数据的整体拟合能力[^1]。 --- ### 示例:贝叶斯分类中的边缘概率 在朴素贝叶斯分类器中,类别 $ C $ 的后验概率为: $$ P(C | x) = \frac{P(x | C) P(C)}{P(x)} $$ 其中: - $ P(x | C) $ 是函数; - $ P(C) $ 是先验概率; - $ P(x) $ 是边缘概率,作为归一化因子。 ```python # 朴素贝叶斯分类示例 from sklearn.naive_bayes import GaussianNB model = GaussianNB() model.fit(X_train, y_train) y_pred = model.predict(X_test) ``` ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值