概率论基础、朴素贝叶斯、贝叶斯统计、MLE及贝叶斯网络

最新推荐文章于 2024-08-06 18:40:23 发布

月臻

最新推荐文章于 2024-08-06 18:40:23 发布

阅读量1.1k

点赞数

分类专栏：数学那些事文章标签：贝叶斯统计 MLE 贝叶斯网络朴素贝叶斯概率论基础

本文链接：https://blog.youkuaiyun.com/h__ang/article/details/92438378

版权

趁着这几天在复习数据挖掘，里面牵扯到了一些概率论里面的基础常识，我就简单介绍下有关的基础知识吧！
概率论是一门研究随机现象数量规律的学科，个体选择是有各种各样的原因，微观层面难以准确判断，但从宏观层面，群体角度会涌现出一定的规律，并且这个规律在一定时期内保持不变，概率是帮助我们找到这样规律的一种数学方法。

一. 基本概念

1. 决定性现象和不确定现象

决定性现象包括必然事件和不可能事件；必然事件是指在一定条件下，必然会发生的事情；而不可能事件是指在一定条件下，必然不会发生的事件。
而现实世界中还存在着大量的非决定性现象，比如同一个仪器多次称量同一个物体的重量，所得结果总是略有差异。这种不确定现象也称为随机现象。

2. 随机实验

正如前面所讲，个体选择有各种各样的原因，但如果重复多次实验，群体角度来讲会涌现出一定的规律，所以我们引入了随机实验，即在相同条件下重复进行某项实验，企图从中发现某种规律。随机试验的结果是未知的，它的所有可能结果的集合构成样本空间，试验的每一个可能结果称为样本点，即为 $S=\left\{ e \right\}$ 。

3. 随机事件

试验E的样本空间S的子集称为试验的随机事件，简称事件，在每次试验中，当且仅当这一子集中的一个样本点出现时，称这一事件发生。
事件的运算满足交换律、结合律、分配律和德-摩根定律：
在这里插入图片描述
举个例子，在1-2000的整数中随机地取一个数，问取到的整数即不能被6整除又不能被8整除的概率是多少？

解：设事件A代表1-2000的整数中可以被6整除的概率，事件B代表1-2000的整数中可以被8整数的概率，那么即不能被6整数又不能被8整除的事件就是 $\bar{A}\bar{B}$ ，即能被6整除又能被8整除的事件就是AB，于是有：
$P(\bar{A}\bar{B})=P(\bar{A\cup B})=1-P(A\cup B)=1-\left \{ P(A)+P(B)-P(AB) \right \}$
$333<\frac{2000}{6}<334,\frac{2000}{8}=250,83<\frac{2000}{24}<84,故有： P(A)=\frac{333}{2000},P(B)=\frac{250}{2000},P(AB)=\frac{83}{2000}$

则 $P(\bar{A}\bar{B})=1-(\frac{333}{2000}+\frac{250}{2000}-\frac{83}{2000})=\frac{3}{4}$

4. 概率与频率

对于一个随机事件A（除必然事件和不可能事件外）来说，它在一次试验中可能发生，也可能不发生，我们希望知道的是事件在一次试验中发生的可能性，于是我们用一个数 P(A)来表示该事件发生的可能性大小，这个数 P(A) 就称为随机事件A的概率。那么概率如何计算呢？

这就要引入频率的概念了，在相同的条件下，进行了n次试验，在这n次试验中，事件A发生的次数 $n_{A}$ 称为事件A发生的频数。比值 $n_{A}/n$ 称为事件A发生的频率，并记为 $f_{n}(A)$ 。
频数稳定性：大量试验证实，当重复实验次数逐渐增大时，频率呈现出稳定性，逐渐稳定于某个常数，即当n足够大时， $f_{n}(A)\approx P(A)$ ,即只要试验次数足够多，我们就可以用频率来估计概率值。

5. 条件概率

设A、B是两个事件，且 $P (A) > 0$ ,称 $P(B|A)=\frac{P(AB)}{P(A)}$ 为在事件A发生的条件下事件B发生的条件概率。

那么现在我们来考虑一个问题，假设有n个条件 $A_{1}A_{2}...A_{n}$ 推出事件B，如何计算 $P(B|A_{1}A_{2}...A_{n})$ ?

乘法定理：设 $P (A) > 0$ ,则有 $P (A B) = P (B ∣ A) P (A)$ ，这个式子就是乘法公式，它可以由上面条件概率的公式直接推得。同理，如果有 $P (B) > 0$ ，则有 $P (A B) = P (A ∣ B) P (B)$ ，可以将乘法定理推广到任意n个事件之交的场合：设 $A_{1},A_{2},...,A_{n}$ 为n个事件， $n\geq 2$ 且 $P(A_{1}A_{2}...A_{n-1})>0$ ，则有 $P(A_{1}A_{2}...A_{n})=P(A_{n}|A_{1}A_{2}...A_{n-1})P(A_{n-1}|A_{1}A_{2}...A_{n-2})...P(A_{2}|A_{1})P(A_{1})$

条件概率 $P (A ∣ B)$ 与积事件概率 $P (A B)$ 的关系： $P (A B)$ 是在样本空间S内事件AB发生的概率，而 $P (A ∣ B)$ 是在试验E增加了新条件B发生后的缩减样本空间 $S_{B}$ 中计算事件A的概率。虽然都是A、B同时发生，但是两者是不相同的，有 $P (A B) = P (B ∣ A) P (A)$ ，仅当 $P (S) = P (B) = 1$ 时两者相等。

6. 全概率公式

全概率公式是概率论中的一个重要公式，应用全概率公式的关键是建立样本空间的正确划分（即构造一个正确的完备事件组），然后计算各个概率和条件概率，最后代入全概率公式。它是求复杂事件概率的有力工具。
样本空间的划分定义：设S为试验E的样本空间， $B_{1},B_{2},...,B_{n}$ 为E的一组事件。若满足（1） $B_{i}B_{j}=\varnothing ,i\ne j,i,j=1,2,...,n$ ；（2） $B_{1}\cup B_{2} \cup ... \cup B_{n}=S$

最低0.47元/天解锁文章