Pearson相关系数

定义

---

统计上，经常用Pearson矩相关系数来衡量两个变量$X$和$Y$的线性相关性，皮尔逊相关系数介于-1和1之间，1代表完全正相关，0代表不相关，-1代表完全负相关。两个变量的皮尔逊相关系数定义为这两个变量的协方差除以它们的标准差乘积。

对于总体，我们记皮尔逊相关系数为$\rho$，计算公式为

$$\rho_{X,Y}=\frac{\text{cov}(X,Y)}{\sigma_X\sigma_Y}$$
这里，$\text(cov)$代表协方差，$\sigma_X$代表$X$的标准误。因为$X,Y$的协方差计算公式为
$$\text{cov}(X,Y)=E[(X-\mu_x)(Y-\mu_Y)]$$
所以上面的相关系数计算公式还可以写为
$$\rho_{X,Y}=\frac{E[(X-\mu_X)(Y-\mu_Y)]{\sigma_X\sigma_Y}}{\sigma_X\sigma_Y}$$
这里，$\mu_X$代表$X$的均值，$E$代表期望。$\rho$还可以写成非中心矩的形式。因为
$$\mu_X=E(X)\\ \mu_Y=E(Y)\\ \sigma^2_X=E[(X-E(X))^2]=E(X^2)-E(X)^2\\ \sigma^2_Y=E[(X-E(Y))^2]=E(Y^2)-E(Y)^2\\ E[(X-\mu_X)(Y-\mu_Y)]=E[(X-E(X))(Y-E(Y))]\\ =E(XY)-E(X)E(Y)$$
所以上面的公式还可以写为
$$\rho_{X,Y}=\frac{E(XY)-E(X)E(Y)}{\sqrt{E(X^2)-E(X)^2}\sqrt{E(Y^2)-E(Y)^2}}$$
对于样本，我们用$r$代表样本皮尔逊相关系数。我们可以用样本协方差和标准差代替总体方差和标准差来计算样本相关系数。比如$(x_1,x_2,...,x_n)$为一组观测样本，$(y_1,y_2,...,y_n)$为另外一组观测样本，那么$r$的计算公式就可以写为：
$$r=r_{xy}=\frac{\sum^n_{i=1}(x_i- \overline{x})(y_i- \overline{y})}{\sqrt{\sum^n_{i=1}(x_i- \overline{x})^2}\sqrt{\sum^n_{i=1}(y_i- \overline{y})^2}}$$
这里$n$代表样本个数，$\overline{x}$代表样本均值，$\overline{y}$类似。简单的推导可以得出这个公式的三个等价形式：
$$r=r_{x,y}=\frac{\sum x_iy_i-n\overline{x}\overline{y}}{\sqrt{(\sum x_i^2-n\overline{x}^2)}\sqrt{(\sum y_i^2-n\overline{y}^2)}}$$
$$r=r_{x,y}=\frac{1}{n-1}\sum_{i=1}^n\left(\frac{x_i-\overline{x}}{s_x}\right)\left(\frac{y_i-\overline{y}}{s_y}\right)$$
以及
$$r=r_{x,y}=\frac{\sum x_iy_i-n\overline{x}\overline{y}}{(n-1)s_xs_y}$$
这里$s_x=\sqrt{\frac{1}{n-1}\sum_{i=1}^n(x_i-\overline{x})^2}$代表样本标准误差，而$(\frac{x_i-\overline{x}}{s_x})$就是样本的标准分数或者z-分数。

皮尔逊相关系数的数学性质及几何意义

---

不论是样本还是总体，皮尔逊相关系数绝对值总是小于等于1的。如果相关系数等于$1$或者$-1$，对于样本来说代表样本点完全在同一条直线上，对于总体来说两个变量的分布由一条直线支撑。同时皮尔逊相关系数具有对称性，即$\text{corr}(X,Y)=\text{corr}(Y,X)$.。
皮尔逊相关系数一个非常重要的性质就是不随着两个变量的位置改变、大小缩放而改变。比如，把$X$变为$a+bX$，把$Y$变为$c+dY$不改变它们之间的相关系数，这里$a,b,c,d$为定值且$b$和$d$大于0。也就是说，一般的线性变换不改变它们的相关系数。
下面是几个皮尔逊相关系数的例子。

相关系数介于0和1之间。相关系数为1就意味着$X$和$Y$落在同一条直线上，呈正相关，$Y$随着$X$的增大而增大，随着$X$的减小而减小。相关系数为$-1$说明$X,Y$负相关，相关系数为0就意味着$X$和$Y$没有线性相关关系。

更一般的，当且仅当$X_i$和$Y_i$落在各自均值的同一侧时，$(X_i-\overline{X})(Y_i-\overline{Y})$为正。因此当$X_i$和$Y_i$相对于均值倾向于同时增加或者同时减小时相关系数为正。反之，相关系数为负。而且这种趋势越强就说明相关系数的绝对值越大。

如果数据经过了标准化处理，那么皮尔逊相关系数表示的就是这两个$n$维向量夹角的余弦值。也就是说如果有$\overline{x}=0$，$\overline{y}=0$，则相关系数就可以变为

$$r_{x,y}=\frac{\sum x_iy_i}{\sqrt{\sum x_i^2}\sqrt{\sum y_i^2}}=\frac{x\cdot y}{||x||\cdot||y||}=\cos(x,y)$$

注意事项

---

皮尔逊相关系数非常有用，但也不能滥用，我们来看一些需要注意的地方。

1. 皮尔逊相关系数是一个线性关系测度，但比较小不能代表变量间没有关系，只能说明变量间没有线性关系或者线性关系比较弱。实际上变量间可能存在非线性关系（下图有几个非线性关系例子），对数据进行一些合适的变换可以增大它们之间的线性关系。
2. 解释相关系数时要考虑实际情况。比如你可能计算出一些人鞋子大小和智商高低相关系数非常大，但这很显然是不合理的，这时相关系数比较大可能仅仅是巧合。
3. 相关不代表因果，不能把相关系数和因果关系混在一起。比如夏天冰激凌销量大，冷饮销量也比较大，它们之间存在相关关系，但我们不能说是冰激凌销量大导致冷饮销量也大，这完全是两码事，实际上温度才是导致它们销量上升的原因。
4. 相关系数和回归系数也要区分开，相关系数不代表直线斜率。