12、概率分布、协方差、相关性与线性回归分析

概率分布、协方差、相关性与线性回归分析

1. 概率分布、协方差与相关性基础

在进行统计推断时，统计分布是非常重要的概念。我们可以通过一些测试来获取相关信息，例如下面是一个 Spearman 秩相关检验的输出：

Spearman's rank correlation rho
data:  A and B
S = 4, p-value = 0.1333
alternative hypothesis: true rho is not equal to 0
sample estimates:
rho 
0.8 

在这个例子中，尽管相关系数为 0.8 看起来很高，但由于 p 值（0.1333）未达到 0.05 的阈值，所以该相关性与 0 没有显著差异。

我们在了解描述性统计（如均值和标准差）后，还可以通过编程的方式获取协方差和相关系数。

2. 线性回归概述

当我们有正态分布的属性，并且想要研究一个属性如何影响另一个属性时，可以使用简单线性回归；如果想研究多个属性对一个属性的影响，则可以使用多元线性回归。本章我们将重点关注以下几个方面：
- 构建并使用自己的简单线性回归算法
- 在 R 中创建多元线性回归模型
- 对这些模型进行诊断测试
- 使用线性回归模型对新数据进行评分
- 检验模型对新数据的预测效果
- 简要了解稳健回归和自助法

3. 简单回归的理解

在简单回归中，我们分析预测变量（我们认为是原因的属性）和标准变量（我们认为是结果的属性