10、双变量统计分析：相关性系数与线性回归

双变量统计分析：相关性系数与线性回归

在双变量统计分析中，相关性系数和线性回归是两个重要的工具，它们能够帮助我们理解两个变量之间的关系。下面将详细介绍这两个工具的原理、应用以及相关的注意事项。

1. 相关性系数

相关性系数常用于双变量统计的早期阶段，不过它只能对双变量数据集中的直线趋势进行非常粗略的估计。在实际应用中，人们常常高估相关性系数的重要性，或者由于数据集中的异常值导致对总体相关性系数的估计出现极大偏差。

1.1 Pearson线性积矩相关系数

Pearson线性积矩相关系数ρ是最常用的相关性系数。我们通过样本数据来估计总体的相关性系数ρ，即计算样本相关系数r，其定义为：
[r = \frac{\sum_{i = 1}^{n}(x_i - \bar{x})(y_i - \bar{y})}{(n - 1)s_xs_y}]
其中，n是数据点对xy的数量，(s_x)和(s_y)是单变量标准差。Pearson相关系数的分子被称为双变量数据集的校正乘积和，将分子除以(n - 1)得到协方差：
[Cov(x,y)=\frac{\sum_{i = 1}^{n}(x_i - \bar{x})(y_i - \bar{y})}{n - 1}]
协方差是双变量统计中广泛使用的一种度量，但它的缺点是依赖于数据的维度。将协方差除以单变量标准差可以消除这种依赖性，从而得到Pearson相关系数。

检验Pearson相关系数显著性的一种常用方法是确定从ρ = 0的总体中随机抽取样本得到r值的概率。可以使用t统计量来估计相关系数的显著性：
[t = r\sqrt{\frac{n - 2}{1 - r^2}}]