12、概率分布、协方差、相关性及线性回归分析

概率分布、协方差、相关性及线性回归分析

1. 概率分布、协方差与相关性基础

在进行统计推断时，概率分布是非常重要的概念。在分析两个属性之间的关系时，我们可以借助多种关联度量方法，如协方差和相关性系数。

例如，有关于A和B的Spearman等级相关系数的测试输出如下：

Spearman's rank correlation rho
data:  A and B
S = 4, p-value = 0.1333
alternative hypothesis: true rho is not equal to 0
sample estimates:
rho 
0.8 

这里，尽管相关系数较高（rho = 0.8），但由于p值（0.1333）未达到0.05的阈值，所以该相关性与0并无显著差异。

2. 线性回归概述

线性回归可分为简单线性回归和多元线性回归。简单线性回归用于分析一个预测变量（我们认为是原因的属性）对一个标准变量（我们认为是结果的属性）的影响；而多元线性回归则用于分析多个预测变量对一个标准变量的影响。

以下是线性回归的主要操作内容：
- 构建并使用自己的简单线性回归算法
- 在R中创建多元线性回归模型
- 对这些模型进行诊断测试
- 使用线性回归模型对新数据进行评分
- 检查模型对新数据的预测效果
- 简要了解稳健回归和自助法

3. 简单回归的理解

在简单回归中，我们重点关注预测变量和标准变量之间的关系。回归