极大似然估计法推出朴素贝叶斯法中的先验概率估计公式

最新推荐文章于 2023-03-17 14:30:38 发布
原创 最新推荐文章于 2023-03-17 14:30:38 发布 · 4.1k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了如何使用极大似然估计法推导朴素贝叶斯分类器中先验概率的估计公式。通过概率表示、极大似然函数及拉格朗日乘子法，详细阐述了计算过程。
令参数 P(Y=c_k)=\theta_k，其中 k\in \left\{ 1,2..K \right\} 。

那么随机变量Y的概率可以用参数来表示为一个紧凑的形式 P(Y)=\sum_{k=1}^{K}{\theta_k} I(Y=c_k)，I是指示函数 Y=c_k成立时，I=1；否则I=0。


极大似然函数 L(\theta_k;y_1,y_2..y_N)=\prod_{i=1}^{N}P(y_i) =\prod_{k=1}^{K}\theta_k^{N_k} ，其中N为样本总数，
最低0.47元/天 解锁文章
29、最大似然估计与朴素贝叶斯模型的应用与拓展
wdx01234567的博客
08-13 27
本文深入探讨了最大似然估计与朴素贝叶斯模型在分类任务中的应用及其多种拓展方法。从电台听众偏好分析入手，介绍了朴素贝叶斯的基本原理和参数估计方法，并进一步讨论了二进制与多状态变量下的建模方式。针对小样本和稀疏数据带来的过拟合问题，引入贝叶斯朴素贝叶斯模型，利用狄利克雷先验提升鲁棒性。为放松属性独立假设，提出了树增强朴素贝叶斯（TAN）结构，通过条件互信息构建属性依赖关系。文章还涵盖了实际应用案例，如文本分类和国籍判断，并对比了不同模型的适用场景。最后展望了模型融合、复杂数据处理与自适应发展等未来方向，展示了该
【西瓜书笔记】6.极大似然估计与朴素贝叶斯
weixin_39236489的博客
01-30 994
6.1 贝叶斯判定准则 贝叶斯判定准则: 为最小化总体风险，只需在每个样本上选择那个能使条件风险R(c∣x)R(c \mid x)R(c∣x)最小的类别标记，即 h∗(x)=arg⁡min⁡c∈YR(c∣x) h^{*}(\boldsymbol{x})=\underset{c \in \mathcal{Y}}{\arg \min } R(c \mid \boldsymbol{x}) h∗(x)=c∈Yargmin​R(c∣x) 此时，h∗h^{*}h∗称为贝叶斯最优分类器 【这里的R和h∗h^{*}h∗针对
用极大似然估计法推出朴素贝叶斯法中的先验概率估计公式
dengxun7056的博客
03-25 1001
在知乎回答了这个问题，感兴趣的同学可参考：https://www.zhihu.com/question/33959624 这个问题是《统计学习方法》第 4 章朴素贝叶斯法习题 4.1。 花了不少功夫来回答这个问题，截图保存在这里。 转载于:https://www.cnblogs.com/NaughtyBaby/p/5320484.html...
极大似然估计法推出朴素贝叶斯法中的先验概率估计公式（转载）
lixg88888888的博客
01-28 1558
极大似然估计法推出朴素贝叶斯法中的先验概率估计公式
极大似然估计法推出朴素贝叶斯法中的先验概率公式
weixin_30906671的博客
10-06 376
转载于:https://www.cnblogs.com/LuffysMan/p/9748820.html
用贝叶斯估计法推出朴素贝叶斯法中的慨率估计公式
weixin_43221749的博客
03-17 580
×第3步：证明公式(4.10)
机器学习自学笔记——朴素贝叶斯与极大似然估计
m0_61787307的博客
03-13 917
​朴素贝叶斯算法通俗理解，最大似然估计介绍。我们所处在的这个世界是充满概率的一个世界。甚至可以说，世界上所有事情的发生都是有一定概率的，并不存在绝对发生与绝对不发生。​ 比如，你同桌他高考考得分数比你高，他未来工作薪资比你高只是一个可能性事件，在大部分人的认知里，“他未来工作薪资比你高”这个是个大概率事件；但是在我的认知里，绝不是这么一回事。没准他去了他梦想中的天坑专业出来工作都找不到，而你去了一个就业前景好的专业，那么之前那个结论他就不成立。
机器学习之极大似然估计与贝叶斯估计
每天起床第一句要给自己打个气
08-28 592
一、贝叶斯定理与朴素贝叶斯         首先介绍一下贝叶斯定理，贝叶斯定理是关于随机事件A和B的条件概率的一则定理。 P(A∣B)=P(B∣A)P(A)P(B) P(A|B)=\frac{P(B|A)P(A)}{P(B)} P(A∣B)=P(B)P(B∣A)P(A)​         其中P(A|B)是在B发生的情...
朴素贝叶斯理论推导 多项式分布 利用极大似然估计进行参数估计
Taneeyo的博客
12-03 2972
朴素贝叶斯理论推导 多项式分布与伯努利分布 利用极大似然估计进行参数估计 （一）：贝叶斯定理 先从条件概率来看 P(AB)=P(A∣B)×P(B)P(AB)=P(B∣A)×P(A) P(AB)=P(A\vert B)\times P(B)\\P(AB)=P(B\vert A)\times P(A) P(AB)=P(A∣B)×P(B)P(AB)=P(B∣A)×P(A) 上式中，A,B事件同时发生的概率等于： B发生时，A发生的概率乘B事件发生的概率。 或者可以说是A发生时，B发生的概率乘A事件发生的概率。 举
极大似然估计 朴素贝叶斯
mengjianmuzi的博客
08-28 504
感觉写的不错的博客的链接 朴素贝叶斯: https://blog.youkuaiyun.com/fisherming/article/details/79509025 极大似然估计: https://www.jianshu.com/p/e0eb4f4ccf3e https://blog.youkuaiyun.com/qq_39355550/article/details/81809467 ...
统计学习方法第四章极大似然估计的朴素贝叶斯分类方法例题4.1代码实践
GrinAndBearIt的博客
01-12 1778
统计学习方法第四章极大似然估计的朴素贝叶斯分类方法例题4.1代码实践（需要查看贝叶斯估计的可以查看我的另一篇文章http://blog.youkuaiyun.com/grinandbearit/article/details/79045143） 代码如下： #-*- coding:utf-8 -*- from numpy import * #将书上的数据输入，这里懒得输入那么多个列表就用下array
西瓜书-极大似然估计与朴素贝叶斯
yxyibb
07-16 779
学习内容 西瓜书的第7章 贝叶斯分类器。 极大似然估计和朴素贝叶斯分类器。 其中极大似然法贯穿我们整个机器学习和深度学习的理论中，是很多学习算法的基础，所以大家比如掌握。 另外朴素贝叶斯因为其优秀的速度优势，比如过去的判别邮件是否是垃圾邮件的任务中，一直扮演着重要决策，所以大家应该了解其思想。 学习时长：7/15——7/16 任务标题：极大似然估计与朴素贝叶斯 任务简介：学习西瓜书7.2/7.3...
统计学习方法笔记，第四章朴素贝叶斯法
努力学挖掘机的李某某的博客
07-14 470
朴素贝叶斯法基于贝叶斯定理和条件独立假设，是一种生成判别的方法，因为是生成概率分布模型，它的效率很高很快，且可适用小样本问题和样本不平衡问题。 4.1 朴素贝叶斯法的学习与分类 已知类集合为，对于一个输入的特征向量,我们的预测问题通常可以表示为求 即求当输入向量时，分类结果y的概率最大的那一类。那么怎样求呢？ 我们考虑用贝叶斯定理 那么问题就转化为求 和 那这俩又
朴素贝叶斯算法 — 超详细公式讲解+代码实例
热门推荐
小牛肉的博客
08-19 7万+
朴素贝叶斯法是基于贝叶斯定理与特征条件独立性假设的分类方法。对于给定的训练集，首先基于特征条件独立假设学习输入输出的联合概率分布（朴素贝叶斯法这种通过学习得到模型的机制，显然属于生成模型）；然后基于此模型，对给定的输入 x，利用贝叶斯定理求出后验概率最大的输出 y。 学习朴素贝叶斯算法之前，我们先搞定下面这些基本概念和数学公式
统计学习方法——朴素贝叶斯
刘炫320的博客
04-13 2489
0.写在前面朴素贝叶斯实际上是非常简单的一种机器学习方法，我们在之前的很多地方都讲过了，所以这里我们不再阐述具体的原理，可以移步：朴素贝叶斯。 但是，对于讨论班里，争论最多的就是课后的2个习题，因此，我们重点放在这两个习题上。他们分别是： 4.1 用极大似然估计法推出朴素贝叶斯法中的概率估计公式（4.8）及公式（4.9）。 4.2 用贝叶斯估计法推出朴素贝叶斯法中的概率估计公式（4.10
机器学习笔记——极大似然估计
weixin_30776273的博客
06-02 494
　　关于极大似然估计的基本介绍，本文不再详细叙述(可参考：周志华——《机器学习》P149，陈希孺——《概率论与数理统计》P150 和其他资料)。文章的主要内容是我对极大似然估计的一些见解和我认为应该需要注意的一些点。以下是正文： 一.极大似然估计的简述 　　假设总体满足某种分布，且该分布的参数为(θ1,θ2,θ3,...θn)，设该分布的具体形式为f(x；θ1,θ2,θ3,...θn)。其中x...
《统计学习方法》第4章 课后题答案
silver
06-18 1万+
这一章主要讲了朴素贝叶斯方法，书上的介绍简单粗暴，但是搞定第二个习题的过程中吃了很多苦头。4.1 用极大似然估计法推出朴素贝叶斯法中的概率估计公式(4.8)及公式(4.9)证明： 题干中要推导的两个公式分别如下： P(Y−ck)=∑Ni=1I(yi=ck)N,k=1,2,…,KP(Y-c_k)=\frac{\sum_{i=1}^NI(y_i=c_k)}{N}, \quad k=1,2,\dots
《统计学习方法》第四章朴素贝叶斯学习笔记
wjlucc的专栏
04-05 1012
朴素贝叶斯法是典型的生成学习方法。生成方法由训练数据学习联合概率分布P(X,Y)P(X,Y)，然后求得后验概率分布P(Y|X)P(Y|X)。具体是利用训练数据学习P(X|Y)P(X|Y)和P(Y)P(Y)的估计，得到联合概率分布：P(X,Y)=P(Y)P(X|Y)P(X,Y)=P(Y)P(X|Y)。 朴素贝叶斯法的基本假设是条件独立性： P(X=x|Y=ck)==P(X(1)=x(1),⋯,X(
李航朴素贝叶斯的参数估计 极大似然估计
最新发布
10-25
李航所著《统计学习方法》中，朴素贝叶斯法是基于贝叶斯公式和特征条件独立假设的分类方法 [^2]。在朴素贝叶斯的参数估计里采用极大似然估计时，其核心在于通过已知的观察数据来评估模型的参数，也就是在“模型已定，参数未知”的情况下进行操作 [^1]。 对于朴素贝叶斯，需要估计的参数主要是先验概率 \(P(Y = c_k)\) 和条件概率 \(P(X^{(j)} = x^{(j)}|Y = c_k)\)。 先验概率 \(P(Y = c_k)\) 的极大似然估计为： \[P(Y = c_k)=\frac{\sum_{i = 1}^{N}I(y_i = c_k)}{N}\] 其中 \(N\) 是样本容量，\(I(y_i = c_k)\) 是指示函数，当 \(y_i = c_k\) 时 \(I(y_i = c_k)=1\)，否则 \(I(y_i = c_k)=0\)。这一估计方法是通过统计样本中类别 \(c_k\) 出现的频率来近似先验概率。 条件概率 \(P(X^{(j)} = x^{(j)}|Y = c_k)\) 的极大似然估计为： \[P(X^{(j)} = x^{(j)}|Y = c_k)=\frac{\sum_{i = 1}^{N}I(x_i^{(j)} = x^{(j)},y_i = c_k)}{\sum_{i = 1}^{N}I(y_i = c_k)}\] 这里 \(x_i^{(j)}\) 是第 \(i\) 个样本的第 \(j\) 个特征值，该公式是在类别 \(c_k\) 的样本中统计特征 \(X^{(j)}\) 取 \(x^{(j)}\) 的频率来近似条件概率。 通过上述极大似然估计得到先验概率和条件概率的估计值后，对于给定的输入 \(x\)，就可以利用贝叶斯定理 \(P(Y = c_k|X = x)=\frac{P(Y = c_k)P(X = x|Y = c_k)}{\sum_{k}P(Y = c_k)P(X = x|Y = c_k)}\) 求出后验概率，进而选择后验概率最大的输出 \(y\) 作为分类结果，后验概率最大化等价于期望风险最小化 [^2]。 ```python import numpy as np def prior_probability(y, classes): N = len(y) prior_probs = {} for c in classes: count = np.sum(y == c) prior_probs[c] = count / N return prior_probs def conditional_probability(X, y, classes, features): num_features = X.shape[1] cond_probs = {} for c in classes: class_indices = (y == c) class_X = X[class_indices] class_count = len(class_X) cond_probs[c] = {} for j in range(num_features): unique_values = np.unique(X[:, j]) cond_probs[c][j] = {} for val in unique_values: feature_count = np.sum(class_X[:, j] == val) cond_probs[c][j][val] = feature_count / class_count return cond_probs # 示例数据 X = np.array([[1, 2], [2, 1], [1, 1], [2, 2]]) y = np.array([0, 0, 1, 1]) classes = np.unique(y) features = X.shape[1] # 计算先验概率 prior_probs = prior_probability(y, classes) print("先验概率:", prior_probs) # 计算条件概率 cond_probs = conditional_probability(X, y, classes, features) print("条件概率:", cond_probs) ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值