机器学习相关概率论重点笔记

关注

原创 2025-07-21 11:56:21 1.2k 阅读 AI 写同款· GEO 优化 ›

《数字图像处理》第12讲——图像表示与描述目录 12.1表示方法 ①链码 ②多边形近似点合成法边分裂法 ③外形特征 ④边界分段 ⑤区域骨架 12.2边界描述 ①简单描述子 ②形状数 ③傅里叶描述子 ④矩量 12.3区域描述 ①简单描绘子 ②纹理统计法灰度共生矩阵频谱法二维函数的矩 12.1表示方法 √图像表示与描述是图像识别和理解的重要组成部分 √图像表示分成边界表示（如链码... 阅读详情

文章目录

A事件发生的概率，记为

P (A)

或

P r (A)

。

1. 联合概率、条件概率、边缘概率

1.1 联合概率 joint probability

联合概率：指两个事件A，B同时发生的概率。记为 $P (A, B)$ ，或 $P (A B)$ ，或 $P(A\cap B)$ 。

当A,B相互独立时，有 $P (A B) = P (A) P (B)$

1.2 条件概率 conditional probability

条件概率：B发生的前提下，A发生的概率。记为 $P (A ∣ B)$ 。
条件概率公式： $P(A|B)=\frac{P(AB)}{P(B)}$
当A,B相互独立时， $P (A ∣ B) = P (A)$ ，即B发不发生，不影响A。
乘法公式： $P (A B) = P (A ∣ B) P (B)$

1.3 边缘概率 marginal probability

边缘概率：指事件A发生的概率。通常可以用全概率公式(见后面解释)来表示：
$P(A)=\sum_iP(A|B_i)P(B_i)$

完备事件组

设 $S$ 为试验 $E$ 的样本空间， $B_1,B_2,\cdots,B_n$ 为 $E$ 的一组事件。若

$B_i\cap B_j=\empty （i\neq j ）$ ；
$B_1\cup B_2\cup\cdots \cup B_n=S$

则称 $B_1,B_2,\cdots,B_n$ 为 $E$ 为样本空间 $S$ 的一个完备事件组（划分）。

全概率定理

${B_i\}$ 为一完备事件组，则对该样本空间中的任意事件A有全概率公式：
$P(A)=\sum_{i}P(A\cap B_i)=\sum_{i}P(A|B_i)P(B_i)$
全概率公式的作用：把一个问题分解成多个可能更简单的问题来解决。

贝叶斯公式

是一个求条件概率的公式。
$P(A|B)=\frac{P(AB)}{P(B)}=\frac{乘法公式替换}{全概率公式替换}=\frac{P(B|A)P(A)}{\sum_{A_i}P(B|A_i)P(A_i)}$

2. 常见函数概念

2.1 概念解释

PDF：常记为 $f_X(t)$ 。概率密度函数（probability density function）, 在数学中，连续型随机变量的概率密度函数（在不至于混淆时可以简称为密度函数）是一个描述这个随机变量的输出值，在某个确定的取值点附近的可能性的函数。
常见的连续随机变量分布的PDF函数：均匀分布，指数分布，Gamma分布和正态分布等。
PMF :也记为 $f_X(t)$ 。概率质量函数（probability mass function), 在概率论中，概率质量函数是离散随机变量在各特定取值上的概率。
常见的离散随机变量分布的PMF函数：伯努利分布，二项分布，泊松分布。
CDF : 记为 $F_X(t)$ 。累积分布函数 (cumulative distribution function)，又叫分布函数（distribution function），是概率密度函数的积分，能完整描述一个实随机变量X的概率分布。
不管是什么类型（连续/离散/其他）的随机变量，都可以定义它的累积分布函数。

2.2 数学表示

PDF：如果 $X$ 是连续型随机变量，概率密度函数PDF定义为 $f_X(t)$ ，用PDF在某一区间上的积分来刻画随机变量落在这个区间中的概率：
$\leq X \leq b )=\int_{a}^{b}f_X(t)dt$

PMF:如果 $X$ 是离散型随机变量，则概率质量函数PMF $f_X(t)$ 为：
$f_X(t_i)=Pr(X=t_i)，即X为t_i的概率$
CDF：累积分布函数
$F_X(t)=Pr(X\leq t)= \begin{cases} \int_{-\infty}^{t}f_X(x)dx，连续型\\ \sum\limits_{x_i\leq t}Pr(X=x_i)=\sum\limits_{x_i\leq t}f_X(x_i)，离散型 \end{cases}$
说明:

PDF的取值本身不是概率，它是一种趋势（密度）只有对连续随机变量的取值进行积分后才是概率，也就是说对于连续值确定它在某一点的概率是没有意义的；
PMF的取值本身代表该值的概率。

参考：
https://blog.youkuaiyun.com/Anne033/article/details/114327608
https://blog.youkuaiyun.com/lanchunhui/article/details/52965391

3. 期望和方差的性质

3.1 期望

$E(Z)=\sum_i^n\sum_j^mg(x_i,y_j)p_{ij}$
$E (c) = c ， c 为常数$
$E (c) = c ， c 为常数$
$E (c X) = c E (X)$
$E (X + Y) = X + Y$
$E (X Y) = E (X) E (Y) ， X 和 Y 相互独立$
$E (E (X)) = E (X)$

3.2 方差

方差（英語：variance）描述的是一个随机变量的离散程度，即一组数字与其平均值之间的距离的度量，是随机变量与其总体均值或样本均值的离差的平方的期望值。

方差定义： $Var(X)=E((X-E(X))^2)=E(X^2)-E(X)^2$
$Var(X)\geq 0$
$Va r (a) = 0 ， a 为常数$
$Va r (X + a) = Va r (X)$
$Var(aX)=a^2Var(X)$
$Var(aX+bY)=a^2Var(X)+b^2Var(Y)+2abCov(X,Y)$
特例： $Va r (X - Y) = Va r (X) + Va r (Y) - 2 C o v (X, Y)$
通用形式： $Var(\sum_{i=1}^nX_i)=\sum_{i,j=1}^nCov(X_i,X_j)=\sum_{i=1}^nVar(X_i)+\sum_{i\neq j,1}^nCov(X_i,X_j)$

3.3 协方差

协方差（英语：Covariance），在概率论与统计学中用于衡量两个随机变量的联合变化程度。
定义，X，Y为两个随机变量，X,Y的协方差为：
$Cov(X,Y)=E({\color{red}(X-E(X))}{\color{blue}(Y-E(Y))})=E(XY)-E(X)E(Y )$

性质：

如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。
若X,Y相互独立，则 $C o v (X, Y) = 0$ 。反过来不一定成立，但如果 $C o v (X, Y) = 0$ ，则说明X,Y线性无关
$C o v (X, X) = Va r (X)$
$C o v (X, Y) = C o v (Y, X)$
$C o v (a X, bY) = ab C o v (X, Y)$
$Cov(\sum_{i=1}^nX_i,\sum_{j=1}^mY_j)=\sum_{i=1}^n\sum_{j=1}^mCov(X_i,Y_j)$

3.4 协方差矩阵

之前X,Y都是1维标量，这里，X是由n个随机变量组成的列向量，Y由m个：
$X=\left[ \begin{matrix} x_1 \\ x_2 \\ \cdots \\ x_n \end{matrix} \right],Y=\left[ \begin{matrix} y_1 \\ y_2 \\ \cdots \\ y_m \end{matrix} \right],E(X)=\left[ \begin{matrix} E(x_1) \\ E(x_2) \\ \cdots \\ E(x_n) \end{matrix} \right]$
协方差矩阵由两个定义：

协方差称之为随机向量X的方差（Variance of random vector X）：
$\Sigma=Var(X)=Cov(X,X)=E((X-E(X))(X-E(X))^T)$
两个随机向量X，Y之间的协方差：
$Cov(X,Y)=E((X-E(X))(Y-E(Y))^T)$
两种定义都有，其第(i,j)位置的值为：
$\Sigma_{ij}=Cov(x_i,y_j)=E({\color{red}(x_i-E(x_i))}{\color{blue}(y_j-E(y_j))})$
令 $\mu_i=E(x_i), \mu=E(X)$ ，则有
$\Sigma= \left[ \begin{matrix} E((x_1-\mu_1))(x_1-\mu_1) & E((x_1-\mu_1))(x_2-\mu_2) & \cdots & E((x_1-\mu_1))(x_n-\mu_n) \\ E((x_2-\mu_2))(x_1-\mu_1) & E((x_2-\mu_2))(x_2-\mu_2) & \cdots & E((x_2-\mu_2))(x_n-\mu_n) \\ \vdots & \vdots & \ddots & \vdots \\ E((x_n-\mu_n))(x_1-\mu_1) & E((x_n-\mu_n))(x_2-\mu_2) & \cdots &E((x_n-\mu_n))(x_n-\mu_n) \end{matrix} \right]$

性质:

$A，B为m\times n维矩阵,a为n\times 1维列向量：$

$\Sigma=E(XX^T)-\mu\mu^T$
$\Sigma$ 是半正定的对称矩阵
$\Sigma\geq0,\Sigma=\Sigma^T$
$Var(a^TX)=a^TVar(X)a$
$Var(AX+a)=AVar(X)A^T$
$Cov(X,Y)=Cov(Y,X)^T$
$Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$
若n=m, $C o v (X + Y) = Va r (X) + C o v (X, Y) + C o v (Y, X) + Va r (Y)$
$Cov(AX,BX)=ACov(X,X)B^T$
若X,Y相互独立， $C o v (X, Y) = 0$

参考：
https://blog.youkuaiyun.com/sodacoco/article/details/89041910
https://zh.m.wikipedia.org/zh/%E6%96%B9%E5%B7%AE
https://zh.m.wikipedia.org/wiki/%E5%8D%8F%E6%96%B9%E5%B7%AE
https://zh.m.wikipedia.org/wiki/%E5%8D%8F%E6%96%B9%E5%B7%AE%E7%9F%A9%E9%98%B5