期望，方差和协方差

1.期望

函数$f(x)$关于某分布$P(\mathrm{x})$的期望或期望值是指，当$x$由$P$产生，$f$作用于$x$时，$f(x)$的平均值。
对于离散型随机变量，我们可以通过求和得到：

$$\mathbb{E}_{x\sim P}[f(x)]=\sum_{x}P(x)f(x)$$
对于连续型随机变量，可以通过求积分得到：
$$\mathbb{E}_{x\sim p}[f(x)]=\int p(x)f(x)dx$$
期望是线性的“
$$\mathbb{E}_x [\alpha f(x)+\beta g(x)]=\alpha\mathbb{E}_x[f(x)]+\beta\mathbb{E}_x[g(x)]$$
其中，$\alpha$和$\beta$不依赖$x$。

2.方差
方差衡量的是当我们对变量$x$依据它的概率分布进行采样时，随机变量$\mathrm{x}$的函数值会呈现多大的差异。

$$\mathrm{Var}(f(x))=\mathbb{E}[(f(x)-\mathbb{E}[f(x)])^{2}]$$
当方差很小时，$f(x)$的值形成的簇比较接近它们的期望值。方差的平方根被称为标准差。

3.协方差
协方差在某种程度上给出了两个变量线性相关性的强弱以及这些变量的尺度：

$$\mathrm{Cov}(f(x),g(y))=\mathbb{E}[(f(x)-\mathbb{E}[f(x)])(g(y)-\mathbb{E}[g(y)])]$$
协方差的值如果很大则意味着变量值很大并且它们同时距离各自的均值很远。如果协方差是正的，那么两个变量都倾向于同时取得相对较大的值。如果协方差是负的，那么其中一个变量倾向于取得相对较大值的同时，另一个变量倾向于取得相对较小的值，反之亦然。
其它的衡量指标，如相关系数将每个变量的贡献归一化，为了只衡量变量的相关性而不受各个变量尺度大小的影响。

协方差和相关性的关系：
协方差反映的是变量间的线性相关性，不能反映非线性相关性。
如果两个变量相互独立，那么它们的协方差为零。如果两个变量的协方差为0,那么它们是相关的，但它们之间一定没有线性关系。
独立性比零协方差的要求更强，因为独立性还排除了非线性关系，两个变量相互依赖但具有零协方差是可能的。

随机变量$\mathrm{x}\in \mathbb{R}^{n}$的协方差矩阵是一个$n\times n$的矩阵。