17、概率分布的期望、方差及常见分布介绍

概率分布的期望、方差及常见分布介绍

1. 随机变量函数的期望

随机变量函数的期望是对该函数在随机变量所有可能取值处的值进行加权平均。具体公式如下：
- 离散单变量分布：$E (f (X)) = \sum_{i=1}^{n} f (x_i) p (x_i)$
- 离散多变量分布：$E (f (X)) = \sum_{i=1}^{n} f (\vec{x} i) p (\vec{x}_i)$
- 连续单变量分布：$E (f (X)) = \int {x=-\infty}^{\infty} f (x) p (x) dx$
- 连续多变量分布：$E (f (X)) = \int_{\vec{x} \in D} f (\vec{x}) p (\vec{x}) d\vec{x}$

期望与点积

期望可以看作是一个表示概率的向量和另一个表示函数的向量之间的点积。以离散情况为例，设随机变量 $X$ 能取 $x_i$（$i \in {1, n}$），定义向量 $\vec{f} = \begin{bmatrix} f (x_1) \ f (x_2) \ \cdots \ f (x_n) \end{bmatrix}$ 和向量 $\vec{p} = \begin{bmatrix} p (x_1) \ p (x_2) \ \cdots \ p (x_n) \end{bmatrix}$，则随机变量 $X$ 的函数 $E (f (X))$ 等同于 $\vec{f}^T \vec{p} = \vec{f} \cdot \vec{p}$。当 $\vec{f}$ 和 $\vec{p}$ 方向一致时，点积值高，即当函数值高的情况与随机变量概率高的情况相吻