4、概率中的期望、方差、协方差及单变量分布

概率中的期望、方差、协方差及单变量分布

1. 期望、方差与协方差

1.1 期望

期望是概率论中的一个重要概念，它可以理解为随机变量的均值。对于离散随机变量和连续随机变量，期望的定义有所不同。
- 离散随机变量的期望 ：设离散随机变量 (X) 的密度函数为 (p(x_i|C))，(i \in {1, \ldots, m})，则其期望 (\mu = E(X)) 定义为：
[
\mu = E(X) = \sum_{i=1}^{m} x_i p(x_i|C)
]
当 (i \in {1, \ldots, \infty}) 时，期望定义为：
[
\mu = E(X) = \sum_{i=1}^{\infty} x_i p(x_i|C)
]
由于密度函数 (p(x_i|C)) 的总和为 1，期望也可以表示为加权算术平均值：
[
\mu = E(X) = \frac{\sum_{i=1}^{m} x_i p(x_i|C)}{\sum_{i=1}^{m} p(x_i|C)}
]
例如，对于具有二项分布的随机变量 (X)，其期望 (E(X) = np)。推导过程如下：
[
\begin{align }
E(X) &= \sum_{x=0}^{n} x \binom{n}{x} p^x (1 - p)^{n - x}\
&= \sum_{x=1}^{n} \frac{n!}{(x - 1)!(n - x)!} p^x (1 - p)^{n - x}\
&= np \s