机器学习之数学基础——期望、方差、协方差、相关系数、矩、协方差矩阵

期望

定义

• 离散型

$$E(X) = \sum_{i}^{\infty}{x_k}{p_k}$$

• 连续型

$$E(X) = \int_{-\infty}^{\infty}xf(x)dx$$

性质

$$E[aX+bY]=aE[X]+bE[Y]$$

方差

定义

$$D(X)=Var(X)=E\left\{ [X - E(X)]^2 \right\} = E(X^2) - [E(X)]^2$$

切比雪夫不等式

定理 设随机变量$X$具有数学期望$E(X) = \mu$，方差$D(X) = \sigma^2$，则对于任意整数$\epsilon$，不等式

$$P\left\{ \mid X - \mu \mid \geq \epsilon \right\} \leq \frac{\sigma^2}{\epsilon}$$
成立。

切比雪夫(Chebbyshev)不等式也可以写成如下的形式：

$$P\left\{ \mid X - \mu \mid < \epsilon \right\} \geq 1 - \frac{\sigma^2}{\epsilon}$$

切比雪夫不等式给出了在随机变量的分布未知，而只知道$E(X)$\和$D(X)$的情况下估计概率$P\left\{ \mid X - E(X) \mid < \epsilon \right\}$的界限。

协方差

对于二维随机变量(X, Y)，除了需要了解X与Y的数学期望和方差意外，还需要掌握描述X与Y之间相互关系的数字特征。

定义

如果两个随机变量X和Y是相互独立的，则

$$E\left\{ [X-E(X)] [Y-E(Y)] \right\} = 0$$

亦

$$E(XY) = E(X) E(Y)$$

量 E{ [X−E(