协方差&相关系数——总体与样本

phoenix@Capricornus

已于 2025-03-30 16:28:21 修改

阅读量2.1k

点赞数 18

CC 4.0 BY-SA版权

分类专栏：模式识别中的数学问题文章标签：机器学习人工智能

于 2024-08-26 17:37:40 首次发布

本文链接：https://blog.youkuaiyun.com/u013600306/article/details/141569472

模式识别中的数学问题专栏收录该内容

45 篇文章

订阅专栏

协方差

协方差（Covariance）是在概率论和统计学中用来衡量两个随机变量或数据集之间线性关系的一个统计量。它描述的是两个变量在一组观测值中的变动是否一致。具体来说，协方差可以告诉两个变量是否倾向于在同一方向上变化（正协方差）或者是在相反的方向上变化（负协方差）。

对于两个随机变量 $X$ 和 $Y$ ，它们的协方差可以通过以下公式计算得出：

$Cov(X,Y)=E[(X−E[X])(Y−E[Y])]\text{Cov}(X, Y) = E[(X - E[X])(Y - E[Y])]$

这里的 $E [X]$ 和 $E [Y]$ 分别代表随机变量 $X$ 和 $Y$ 的期望值（均值）。

在样本数据的情况下，协方差的计算可以简化为：

$Cov(X,Y)=1n−1∑i=1n(Xi−Xˉ)(Yi−Yˉ)\text{Cov}(X, Y) = \frac{1}{n-1} \sum_{i=1}^{n} (X_i - \bar{X})(Y_i - \bar{Y})$

式中：
- $X_i$ 和 $Y_i$ 是两个变量 $X$ 和 $Y$ 的第 $i$ 个观测值。
- $n$ 是观测值的数量。
- $Xˉ\bar{X}$ 和 $Yˉ\bar{Y}$ 分别是 $X$ 和 $Y$ 的样本均值。

协方差的符号（正或负）可以告诉两个变量之间的关系类型：

当 $Cov(X,Y)>0\text{Cov}(X, Y) > 0$ 时，表明 $X$ 和 $Y$ 倾向于同方向变化，即正相关。
当 $Cov(X,Y)<0\text{Cov}(X, Y) < 0$ 时，表明 $X$ 和 $Y$ 倾向于反方向变化，即负相关。
当 $Cov(X,Y)=0\text{Cov}(X, Y) = 0$ 时， $X$ 和 $Y$ 没有线性相关性。

需要注意的是，协方差的大小受变量量纲和尺度的影响，所以当需要比较不同变量之间的关系强度时，通常会使用标准化后的度量——相关系数。

总体

相关系数是标准化的协方差。给定两个随机变量 $X$ 和 $Y$ ，它们的相关系数 $r_{XY}$ 可以通过它们的协方差和各自的方差来计算。数学表达式如下：

$r_{XY} = \frac{\text{Cov}(X, Y)}{\sigma_X \sigma_Y}$

其中：

$Cov(X,Y)\text{Cov}(X, Y)$ 表示 $X$ 和 $Y$ 的协方差，
$σX\sigma_X$ 和 $σY\sigma_Y$ 分别表示 $X$ 和 $Y$ 的标准差。

协方差 $Cov(X,Y)\text{Cov}(X, Y)$ 的定义为：

$\text{Cov}(X, Y) = E[(X - \mu_X)(Y - \mu_Y)]$

其中 $μX\mu_X$ 和 $μY\mu_Y$ 分别是 $X$ 和 $Y$ 的期望值（均值）， $E[⋅]E[\cdot]$ 表示期望运算。

标准差 $σX\sigma_X$ 和 $σY\sigma_Y$ 可以分别表示为：

$\sigma_X = \sqrt{\text{Var}(X)} = \sqrt{E[(X - \mu_X)^2]}$

$\sigma_Y = \sqrt{\text{Var}(Y)} = \sqrt{E[(Y - \mu_Y)^2]}$

因此，相关系数 $r_{XY}$ 的完整表达式为：

$r_{XY} = \frac{E[(X - \mu_X)(Y - \mu_Y)]}{\sqrt{E[(X - \mu_X)^2]} \sqrt{E[(Y - \mu_Y)^2]}}$

样本

对于两个变量 $X$ 和 $Y$ ，它们的相关系数 $r$ 可以通过以下公式计算得出（通常称为皮尔逊相关系数）：

$r_{XY} = \frac{\sum_{i=1}^{n}(X_i - \overline{X})(Y_i - \overline{Y})}{\sqrt{\sum_{i=1}^{n}(X_i - \overline{X})^2}\sqrt{\sum_{i=1}^{n}(Y_i - \overline{Y})^2}}$

其中：

$X_i$ 和 $Y_i$ 分别表示变量 $X$ 和 $Y$ 在第 $i$ 个观测值上的值；
$X‾\overline{X}$ 和 $Y‾\overline{Y}$ 分别表示变量 $X$ 和 $Y$ 的样本均值；
$n$ 表示观测值的数量。

这个公式可以被简化为：
$r_{XY} = \frac{\sum_{i=1}^{n}(X_i - \overline{X})(Y_i - \overline{Y})}{(n-1) s_X s_Y}$
其中 $s_X$ 和 $s_Y$ 分别是 $X$ 和 $Y$ 的样本标准差。

相关系数的值域是从 -1 到 1，即 $[- 1, 1]$ 。当 $r$ 接近于 $1$ 时，表示两个变量之间存在强正相关；当 $r$ 接近于 $- 1$ 时，表示两个变量之间存在强负相关；而当 $r$ 接近于 0 时，则表示两个变量之间几乎不存在线性关系。

完全正相关：当相关系数为 1 时，表示两个变量之间存在完全正相关关系。这意味着一个变量的增加总是伴随着另一个变量的增加，且变化的比例相同。
完全负相关：当相关系数为 -1 时，表示两个变量之间存在完全负相关关系。这意味着一个变量的增加总是伴随着另一个变量的减少，且变化的比例相同。
无相关性：当相关系数为 0 时，表示两个变量之间没有线性关系。