机器学习数学基础：30.Pearson相关系数及t检验教程

Pearson相关系数及t检验教程

一、定义与原理

Pearson相关系数

Pearson相关系数（记为${\rho }_{X,Y}$）用于衡量两个变量$X$和$Y$之间线性相关的强度与方向，取值范围在$-1$到$1$之间。公式为${\rho }_{X,Y}=\frac{\text{cov}(X,Y)}{{\sigma }_X{\sigma }_Y}=\frac{E[(X-{\mu }_X)(Y-{\mu }_Y)]}{{\sigma }_X{\sigma }_Y}$，其中$\text{cov}(X,Y)$是协方差，反映两个变量的总体误差；${\sigma }_X$、${\sigma }_Y$分别是$X$和$Y$的标准差，衡量变量的离散程度；${\mu }_X$、${\mu }_Y$分别是$X$和$Y$的均值。值为正表示正相关，为负表示负相关，绝对值越接近$1$，线性相关越强；接近$0$，线性相关越弱。

t检验

在Pearson相关系数的应用中，t检验用于检验总体中两个变量是否真的存在线性相关关系。因为样本计算出的相关系数可能受到抽样误差的影响，通过t检验可以判断基于样本得到的相关关系在总体层面是否具有统计学意义。

二、计算步骤

计算Pearson相关系数

1. 准备数据：收集两个变量$X$和$Y$的$n$组观测值$(x_1,y_1),(x_2,y_2),\cdots ,(x_n,y_n)$。
2. 计算均值：${\mu }_X=\frac{1}{n}{\sum }_{i=1}^n{x}_i$，${\mu }_Y=\frac{1}{n}{\sum }_{i=1}^n{y}_i$。
3. 计算协方差：$\text{cov}(X,Y)=\frac{1}{n}{\sum }_{i=1}^n(x_i-{\mu }_X)(y_i-{\mu }_Y)$。
4. 计算标准差：${\sigma }_X=\sqrt{\frac{1}{n}{\sum }_{i=1}^n(x_i-{\mu }_X{)}^2}$，${\sigma }_Y=\sqrt{\frac{1}{n}{\sum }_{i=1}^n(y_i-{\mu }_Y{)}^2}$。
5. 计算相关系数：将协方差和标准差代入公式${\rho }_{X,Y}=\frac{\text{cov}(X,Y)}{{\sigma }_X{\sigma }_Y}$。

进行t检验

1. 建立假设
   • 原假设$H_0$：总体的相关系数$\rho =0$，即总体中两个变量之间不存在线性相关关系。
   • 备择假设$H_1$：总体的相关系数$\rho \ne 0$，即总体中两个变量之间存在线性相关关系。
2. 计算t统计量：公式为$t=\frac{r\sqrt{n-2}}{\sqrt{1-r^2}}$，其中$r$为计算得到的Pearson相关系数，$n$为样本数量。
3. 确定临界值：根据给定的显著性水平$\alpha$（常用$0.05$）和自由度$df=n-2$，查阅$t$分布表得到临界值$t_{\alpha /2}(n-2)$。
4. 做出决策
   • 如果$|t|>t_{\alpha /2}(n-2)$，则拒绝原假设$H_0$，认为总体中两个变量之间存在线性相关关系。
   • 如果$|t|\le t_{\alpha /2}(n-2)$，则不能拒绝原假设$H_0$，即没有足够证据表明总体中两个变量之间存在线性相关关系。

三、实例演示

研究每周运动时间$X$（小时）和体重减少量$Y$（千克）的关系，选取$6$名参与者的数据：

参与者	$X$	$Y$
1	3	1
2	5	2
3	4	1.5
4	6	2.5
5	2	0.5
6	7	3

计算Pearson相关系数

1. 均值：${\mu }_X=\frac{3+5+4+6+2+7}{6}=4.5$，${\mu }_Y=\frac{1+2+1.5+2.5+0.5+3}{6}=1.75$。
2. 协方差：$\text{cov}(X,Y)=\frac{(3-4.5)\times (1-1.75)+(5-4.5)\times (2-1.75)+(4-4.5)\times (1.5-1.75)+(6-4.5)\times (2.5-1.75)+(2-4.5)\times (0.5-1.75)+(7-4.5)\times (3-1.75)}{6}\approx 1.375$。
3. 标准差：${\sigma }_X=\sqrt{\frac{(3-4.5{)}^2+(5-4.5{)}^2+(4-4.5{)}^2+(6-4.5{)}^2+(2-4.5{)}^2+(7-4.5{)}^2}{6}}\approx 1.87$，${\sigma }_Y=\sqrt{\frac{(1-1.75{)}^2+(2-1.75{)}^2+(1.5-1.75{)}^2+(2.5-1.75{)}^2+(0.5-1.75{)}^2+(3-1.75{)}^2}{6}}\approx 0.94$。
4. 相关系数：$r=\frac{1.375}{1.87\times 0.94}\approx 0.78$。

进行t检验

1. 计算$t$统计量：$t=\frac{0.78\sqrt{6-2}}{\sqrt{1-0.78^2}}\approx 2.84$。
2. 设显著性水平$\alpha =0.05$，自由度$df=6-2=4$，查$t$分布表得$t_{0.025}(4)=2.776$。
3. 因为$|2.84|>2.776$，拒绝原假设$H_0$，认为总体中每周运动时间和体重减少量之间存在线性相关关系。

四、注意事项

1. 数据要求：Pearson相关系数理想情况是变量服从正态分布，样本量足够大时对非正态有一定稳健性。同时，t检验的有效性也依赖于数据的正态性假设。
2. 关系性质：Pearson相关系数仅衡量线性相关，若变量间存在非线性关系，可能得出错误结论。
3. 因果关系：相关不代表因果，两个变量相关可能是受其他未考虑因素的影响。