【统计分析】皮尔逊相关系数检验

模型5.3——皮尔逊相关系数的假设检验 目录1.解决问题2.几个操作2.1 统计描述2.2 计算各列之间的相关系数2.3 假设检验部分(一般不用)2.4 计算P值(用)3.步骤3.1计算各列之间的相关系数以及P值3.2 在相关系数表R 上 标上显著性符号4.皮尔逊相关系数假设检验的条件 1.解决问题 对皮尔逊相关系数的假设检验 2.几个操作 2.1 统计描述 2.2 计算各列之间的相关系数 2.3 假设检验部分(一般不用) 2.4 计算P值(用) 3.步骤 3.1计算各列之间的相关系数以及P值 3.2 在相关系数表R 上 标上显著性符 阅读详情

统计分析核心:皮尔逊相关系数检验|原理+公式+Python实战全攻略

皮尔逊相关系数检验是衡量两个连续变量线性关系强度与方向的基础统计方法,也是本科数理统计、研究生数据分析与机器学习特征筛选的必学内容。


一、皮尔逊相关系数(r)是什么?一句话看懂

皮尔逊相关系数(r)= 衡量两个变量“线性相关程度”的数字

核心特点:

  • 取值范围:-1 ≤ r ≤ 1
  • r = +1:完美正相关(一个变量增,另一个必增)
  • r = -1:完美负相关(一个变量增,另一个必减)
  • r = 0:无线性相关(变量变化无规律关联)
  • |r| 越接近1:线性关系越强;越接近0:线性关系越弱

直观例子

  • 学习时间与考试成绩:r≈0.8(强正相关)
  • 温度与羽绒服销量:r≈-0.7(强负相关)
  • 身高与考试成绩:r≈0(无线性相关)

二、核心原理:为什么r能衡量线性关系?

皮尔逊相关系数的本质是**“标准化后的协方差”**,核心逻辑是:

  1. 先看两个变量偏离各自均值的“同步程度”(协方差)
  2. 再通过标准差消除量纲影响(比如“小时”和“分数”的单位差异)
  3. 最终得到0-1之间的标准化结果

1. 核心公式(必须掌握)

r=∑i=1n(Xi−X‾)(Yi−Y‾)∑i=1n(Xi−X‾)2⋅∑i=1n(Yi−Y‾)2 r = \frac{\sum_{i=1}^n (X_i - \overline{X})(Y_i - \overline{Y})}{\sqrt{\sum_{i=1}^n (X_i - \overline{X})^2 \cdot \sum_{i=1}^n (Y_i - \overline{Y})^2}} r=∑i=1n​(Xi​−X)2⋅∑i=1n​(Yi​−Y)2​∑i=1n​(Xi​−X)(Yi​−Y)​

  • 分子:协方差的核心部分(衡量X和Y的“同步偏差”)
  • 分母:X和Y的标准差乘积(标准化因子,消除单位影响)

2. 公式拆解(通俗理解)

  • (Xi−X‾)(X_i - \overline{X})(Xi​−X):第i个X值偏离X均值的程度
  • (Yi−Y‾)(Y_i - \overline{Y})(Yi​−Y):第i个Y值偏离Y均值的程度
  • 分子求和:如果X和Y“同增同减”,乘积为正,求和后为正值(正相关);反之则为负值(负相关)
  • 分母:保证结果被限制在-1到1之间

3. 关键性质

  1. 只测线性关系:如果变量是非线性关系(如U型、抛物线),r可能接近0
  2. 对称性:r(X,Y) = r(Y,X)(X对Y和Y对X的相关程度相同)
  3. 对异常值敏感:极端值会严重扭曲r的结果
  4. 无因果性:只说明“相关”,不代表“X导致Y”或“Y导致X”

三、皮尔逊相关系数检验(假设检验流程)

计算出r后,需要通过假设检验判断:这个相关系数是否显著(不是随机误差导致)

1. 明确假设

  • 原假设 H0H_0H0​:两个变量无线性关系(r=0)
  • 备择假设 H1H_1H1​:两个变量有线性关系(r≠0,双尾检验)

2. 计算检验统计量(t值)

t=r⋅n−21−r2 t = \frac{r \cdot \sqrt{n-2}}{\sqrt{1 - r^2}} t=1−r2​r⋅n−2​​

  • n:样本量
  • 自由度 df=n−2df = n-2df=n−2

3. 判断规则

  • 计算p值(或查t分布表找临界值)
  • 若p < 0.05(显著性水平):拒绝H0H_0H0​,认为线性关系显著
  • 若p ≥ 0.05:不能拒绝H0H_0H0​,认为线性关系不显著

四、Python 完整实战(学生学习时间vs考试成绩)

1. 导入库+生成数据

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from scipy.stats import pearsonr

# 固定随机种子(结果可复现)
np.random.seed(42)

# 生成模拟数据:1000个学生的学习时间和考试成绩
n = 1000
study_time = np.random.normal(loc=5, scale=1.5, size=n)  # 学习时间:均值5小时,标准差1.5
exam_scores = 50 + 10 * study_time + np.random.normal(0, 10, size=n)  # 成绩=基础分+学习时间贡献+噪声

# 构建DataFrame
data = pd.DataFrame({
    'StudyTime': study_time,
    'ExamScores': exam_scores
})

# 查看数据前5行
print(data.head())

2. 描述性统计

# 查看数据基本信息(均值、标准差、最值等)
print(data.describe())

3. 可视化:散点图(直观看关系)

plt.figure(figsize=(10, 6))
sns.scatterplot(
    x='StudyTime', y='ExamScores', 
    data=data, color='orange', s=50, edgecolor='black', alpha=0.7
)
plt.title('学习时间 vs 考试成绩 散点图', fontsize=14)
plt.xlabel('学习时间(小时)', fontsize=12)
plt.ylabel('考试成绩(分)', fontsize=12)
plt.grid(alpha=0.3)
plt.show()

4. 计算皮尔逊相关系数+假设检验

# 计算相关系数r和p值
corr_r, p_value = pearsonr(data['StudyTime'], data['ExamScores'])

print("===== 皮尔逊相关系数检验结果 =====")
print(f"相关系数 r = {corr_r:.4f}")
print(f"p值 = {p_value:.4f}")

# 显著性判断
alpha = 0.05
if p_value < alpha:
    print(f"结论:p < {alpha},拒绝原假设,学习时间与考试成绩存在显著线性关系 ✅")
else:
    print(f"结论:p ≥ {alpha},不能拒绝原假设,线性关系不显著 ❌")

5. 可视化:添加回归线(更直观)

plt.figure(figsize=(10, 6))
sns.regplot(
    x='StudyTime', y='ExamScores', 
    data=data, 
    scatter_kws={'color': 'orange', 's': 50, 'edgecolor': 'black', 'alpha': 0.7},
    line_kws={'color': 'blue', 'lw': 2}
)
plt.title('学习时间 vs 考试成绩 回归线', fontsize=14)
plt.xlabel('学习时间(小时)', fontsize=12)
plt.ylabel('考试成绩(分)', fontsize=12)
plt.grid(alpha=0.3)
plt.show()

6. 异常值处理(优化结果)

皮尔逊相关系数对异常值敏感,需先检测并处理:

# 1. 检测异常值(基于箱线图规则)
def remove_outliers(df, col):
    q1 = df[col].quantile(0.25)
    q3 = df[col].quantile(0.75)
    iqr = q3 - q1
    lower_bound = q1 - 1.5 * iqr
    upper_bound = q3 + 1.5 * iqr
    return df[(df[col] >= lower_bound) & (df[col] <= upper_bound)]

# 去除成绩异常值
data_clean = remove_outliers(data, 'ExamScores')

# 2. 重新计算相关系数
corr_r_clean, p_value_clean = pearsonr(data_clean['StudyTime'], data_clean['ExamScores'])
print(f"\n===== 去除异常值后结果 =====")
print(f"相关系数 r = {corr_r_clean:.4f}")
print(f"p值 = {p_value_clean:.4f}")

五、常见问题与注意事项(避坑指南)

  1. r=0 不代表无关系:可能是非线性关系(如U型)
  2. 异常值必须处理:先通过箱线图、Z-score法去除极端值
  3. 数据需近似正态分布:小样本时若数据严重不正态,需换用斯皮尔曼相关系数
  4. 样本量不能太小:n≥30时结果更可靠,n<10可能导致检验失效
  5. 相关≠因果:比如“冰淇淋销量”和“溺水人数”正相关,但不是因果关系(真正原因是“气温”)

六、皮尔逊相关系数 vs 其他相关方法(对比表)

方法适用场景优点缺点
皮尔逊相关系数连续变量+线性关系计算快、直观、可检验显著性只测线性、对异常值敏感、需正态分布
斯皮尔曼秩相关系数连续/序数变量+单调关系(含非线性)对异常值不敏感、无需正态分布不能反映线性强度、仅适用于单调关系
肯德尔相关系数小样本+顺序数据小样本准确、对单调关系有效计算复杂、效率低
互信息任意关系(线性/非线性)捕捉所有关系、无分布假设计算复杂、无明确方向、不直观

七、最简单总结(背诵版)

  1. 皮尔逊r:衡量连续变量线性关系的强度和方向(-1~1)
  2. 检验流程:算r → 算t值 → 看p值 → p<0.05则显著
  3. 避坑点:去异常值、不混淆相关与因果、非线性关系不用它
  4. 替代方案:非线性用斯皮尔曼,小样本用肯德尔,任意关系用互信息
数学建模——相关系数(1)——皮尔逊相关系数(Person) 文章目录一、 相关系数简介二、相关的基本数学概念总体和样本三、皮尔逊Person相关系数1. 协方差2. 总体皮尔逊Person相关系数3. 样本皮尔逊Person相关系数需要注意的地方!1. 相关系数只是用来衡量两个变量线性相关程度的指标2. 通过绘制散点图可以很容易地判定两个变量x和y之间的相关性3. 非线性相关也会导致线性相关系数很大4. 离群点对相关系数的影响很大5. 如果两个变量的相关系... 阅读详情

相关推荐

统计相关系数(1)——Pearson(皮尔逊)相关系数及MATLAB实现

本文对Pearson(皮尔逊)相关系数进行了简单的介绍,并通过MATLAB将其实现。

小半杯的专栏 16万+

皮尔逊相关系数(Pearson Correlation Coefficient)

简要理解皮尔逊相关系数得数学本质和含义

华墨1024的博客 8万+

【数学建模】皮尔逊相关系数和假设检验

pearson相关系数其实就是两组数据的协方差的去量纲,只有在两组数据有线性相关性时才适用。对pearson相关系数的分析要用到假设检验,进行假设检验需要满足数据符合正态分布。

weixin_42128414的博客 1万+

皮尔逊相关(Pearson correlation)系数概述及其计算例

相关是最常用的统计度量。用一个数来描述两个变量之间的相关联的程度。相关系数的取值范围为[-1,+1]。负值表示随着一个变量值的增大另一个则减小;正值表示随着一个变量值的增大另一个也跟着增大;0则表示一个变量的增大减小对另一个的取值没有 影响。 三种常用的相关系数为:皮尔逊相关系数,斯皮尔曼相关系数,Kendall相关系数.本文概要性地介绍皮尔逊相关系数。

chenxy_bwave的专栏 18万+

Spark机器学习-Java版(二)-相关系数和假设检验

1、相关系数和假设校验概述 相关系数和假设检验是数理统计中的基本概念和统计工具,对于机器学习模型的设定和优化策略有很大帮助。 1.1 相关系数 相关系数是反映两变量间线性相关性关系的統计指标,是一种反映变量之间相关关系密切程度的统计指标,在现实中一般用于对于两组数据的拟合和相似程度进行定量化分析,第用的般是皮尔逊相关系数( pearson),MLlib中默认的相关系数求法也是...

mrdragon的博客 1089

统计分析中的关键概念:卡方分布与相关性

本篇博客深入探讨了统计假设检验中卡方分布的临界值计算方法,以及协方差与皮尔逊相关系数在数据关系量化中的应用。通过实际案例和代码示例,说明如何利用Python的SciPy库计算卡方分布的临界值,并解释了如何通过计算协方差和皮尔逊相关系数来分析变量间的线性关系。文章最后提出了一些扩展学习的建议。

weixin_42372837的博客 626

数学建模 相关系数(皮尔逊相关系数和斯皮尔曼相关系数)

皮尔逊 person相关系数和斯皮尔曼spearman等级相关系数,它们可用来衡量两个变量之间的相关性的大小,根据数据满足的不同条件,我们要选择不同的相关系数进行计算和分析(建模论文中最容易用错的方法)。 1、相关概念 总体:所要考察对象的全部个体叫做总体。 样本:从总体所抽取的一部分个体叫总体的一个样本。 使用样本数据的样本均值和样本标准差来估计总体平均水平和偏离程度。 2、皮尔逊Person相...

old sweet的博客 1万+

Ubuntu20.04 高效安装企业微信的完整指南

本文提供了在Ubuntu20.04系统上高效安装企业微信的完整指南,详细介绍了通过Deepin-wine环境运行Windows版企业微信的步骤和优化技巧。内容包括系统环境检查、依赖安装、企业微信包的获取与安装、首次运行配置及常见问题解决方案,帮助开发者在Ubuntu系统中流畅使用企业微信进行办公通讯。

weixin_42568801的博客 353

皮尔逊相关系数和斯皮尔曼相关系数

皮尔逊相关系数和斯皮尔曼相关系数

gengjuan520的博客 1万+

运放+三极管恒流源电路设计实战:从原理到仿真一步到位(附Multisim文件)

本文详细解析了运放与三极管构建恒流源电路的核心原理,重点阐述了负反馈机制如何实现精准的电流控制。通过Multisim仿真实战,从电路搭建、参数计算到负载调整率与动态响应分析,一步步指导设计过程,并提供常见故障的调试技巧与PCB设计要点,帮助工程师从理论平稳过渡到可靠实践。

7z8x2c4v6b9的博客 712

芯片硅前验证技术与驱动工程师实战指南

硅前验证是芯片开发流程中的关键环节,通过pre-silicon simulation等技术手段在流片前验证设计正确性。其核心技术包括软件仿真、FPGA原型验证和硬件仿真器解决方案,涉及Linux驱动开发、芯片架构理解和波形分析等核心技能。作为连接芯片设计与系统集成的桥梁,硅前验证能早期发现设计缺陷,节省数百万美元流片成本。以Cadence Palladium为代表的硬件仿真器,通过专用服务器系统实现比纯软件方案快100-1000倍的仿真速度,为驱动工程师提供完整的外设模型验证环境。掌握硅前验证技术可显著提升

weixin_42522857的博客 329

建模学习笔记(五)相关系数——pearson和spearman相关系数

等等

weixin_47066458的博客 3766

CAD高手必备:土地利用现状图与地形图叠加的3种实用方法(附详细步骤)

本文为CAD工程师和设计师详细介绍了土地利用现状图与地形图叠加的三种实用方法。针对高标准农田、土地整治等规划项目,文章深入剖析了基于FME的自动化批量处理、ArcGIS与CAD协同的半自动填充法,以及针对高精度需求的矢量化叠加法,并提供了详细的操作步骤与适用场景对比,帮助读者根据项目需求选择高效精准的解决方案。

weixin_29261711的博客 629

相关系数(皮尔逊相关系数和斯皮尔曼相关系数)

matlab和spss计算皮尔逊相关系数和斯皮尔曼相关系数

qq_53471484的博客 6288

告别盲目调参:手把手教你用RKISP2.x Tuner理解AWB、AE、NR等核心模块

本文详细介绍了如何使用RKISP2.x Tuner工具进行ISP调试,重点解析AWB、AE、NR等核心模块的调参技巧。通过RV1126平台的实际操作演示,帮助工程师快速掌握可视化对比实验方法,告别盲目调参,提升图像信号处理效率。

weixin_30300225的博客 394

离线安装vue脚手架,内网安装@vue/cli

公司开发环境使用内网,无法用外网,搭建环境的时候,发现内网系统没有安装vue脚手架,我搜了很多文章,发现他们的方法对我都不适用,然后就自己摸索,最终皇天不负有心人,终于被我安装上了,一下是我内网离线安装vue/cli的方法,希望能帮助到有需要的小伙伴! 因为npm被集成在nodejs中,而安装nodejs只需要把nodejs安装包copy到内网电脑安装就行,比较简单,这里就不多做演示。 在外网电脑上,使用npm install -g xxxx命令下载好我们所需要的各个安装包,比如: npm insta

Liberty_yes的博客 1万+

数据分析进阶 - 相关分析(皮尔逊相关系数)

相关分析 相关分析是研究两个或两个以上处于同等地位的随机变量间的相关关系的统计分析方法。通过对不同特征或数据间的关系进行分析,发现其中关键影响及驱动因素。在实际的工作应用中,常常用于特征的发现与选择。 皮尔逊相关系数 皮尔逊相关系数( Pearson correlation coefficient),又称皮尔逊积矩相关系数(Pearson product-moment correlation coefficient,简称 PPMCC或PCCs),是用于度量两个变量X和Y之间的相关(线性相关),其值介于-1与

Totoro1745的博客 8844

【大模型学习】第二十四章 生成式人工智能(GAI)简介

‌的AI技术,其核心目标是通过学习数据中的规律,生成与训练数据类似但全新的文本、图像、音频、视频甚至代码。生成式人工智能(GAI)是一类能够‌。

以实战经验介绍行业知识 1639

python如何检验显著性差异_基于python的显著性检验

需要用到numpy库import numpy as npimport scipy.stats as statsimport scipy.optimize as opt首先我们来创造两个数组作为测试数据n = 200norm_dist = stats.norm(loc=0.5, scale=10) #构造一个正态分布,均值为0.5,标准差为10 “标准差”也称“均方差”,是“方差”开根号dat ...

weixin_39805180的博客 4752

《点云进阶》专栏文章目录

点云进阶》专栏文章目录

点云侠的博客 4906

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

皮尔逊相关系数

皮尔逊相关系数 可用来衡量两个变量之间的相关性的大小。这里的相关系数只是用来衡量两个变量线性相关程度的指标;也就是说,你必须先确认这两个变量是线性相关的,然后这个相关系数才能告诉你他俩相关程度如何 。 用spss计算相关系数 检验数据是否是正态分布 ...

Elefance13的博客 4219

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

数学建模之相关性分析1

描述性统计 一,计算各个变量的最大值,最小值,均值,方差,偏度,峰度等统计量 使用工具:SPSS 步骤一:将数据导入SPSS 步骤二:点击分析-描述统计-描述-导入各个变量-点击选项并勾选统计量 样图: 计算皮尔逊相关系数 重点!!! 1,皮尔逊相关系数的作用:衡量两个变量之间的相关性的大小!! 2,皮尔逊相关系数的误区如图: 二,绘制各个变量之间的散点图 使用工具:SPSS 步骤一:点击图形旧对话框 ‐ 散点图/点图 ‐ 矩阵散点图 样图: 三,观察

supreme_boss的博客 1万+

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

数学建模-相关性分析(Matlab)

注意:代码文件仅供参考,一定不要直接用于自己的数模论文中国赛对于论文的查重要求非常严格,代码雷同也算作抄袭如何修改代码避免查重的方法:https://www.bilibili.com/video/av59423231 //清风。

m0_62237233的博客 1万+

关于2012年数学建模a题葡萄酒评价的分析

这道题目内容还是很丰富的,第一问两组品酒员评价结果有无显著性差异. 这就好比概率论上给你两组分别来自正态总体,让你评价有无差异类似,但是很明显现在并无法确定这两组数据是正态分布的(事实上程序跑出来不是正态分布). 这就用到成对数据检验概念,简单来说就是两组数据作差,可以认为是呈正态分布,然后   针对这题就是先求每一组对于不同酒的打分(组内取平均数即可),然后得到两组数据

fengsigaoju的博客 2万+

相关性分析

相关性分析的讲解和使用

Lov1_BYS的博客 2195

T检验,方差分析,相关分析

假设检验: 一般我们把想要的结果放在备择假设上面,通过否定原假设来得到我们想要的结果 P值!!!!: p值就是当原假设为真时,得到的与样本相同结果或更极端情况的概率 p值不是原假设为真的概率,也不是备择假设为假的概率;p值不代表原假设和备择假设之间的差异大小 关于连续与分类数据的相关性检验方法 X/Y 分类数据 连续数据 ...

qq_36344327的博客 9083
上一篇: 【统计检验】正态性检验
下一篇: 【特征选择方法】L1正则化(Lasso)
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值