【统计检验】正态性检验

如何检验数据样本的正态性? 正态分布是自然界中最常见的也是一种最重要的分布。因此,人们在使用统计分析方法时,总是乐于正态假定,但该假定是否成立,就需要进行正态性检验了。 定义: 指如果一组观测值来自正态总体.具有正态分布的特性,就称该组观测值具有正态性。 检验方法: 1、图示法 1.1 PP图 P-P图是根据变量的累积概率对应于所指定的理论分布累积概率绘制的散点图,用于直观地考察样本数据是否服从某一概率分布。如果... 阅读详情

统计检验前置核心:正态性检验|原理+方法+Python实战全攻略

正态性检验是进行 t检验、方差分析(ANOVA)、线性回归 等统计分析前的必做前提检验,核心作用是判断数据是否符合“钟形曲线”的正态分布。。


一、什么是正态性检验?(一句话看懂)

  • 正态分布:数据呈现“中间多、两头少、左右对称”的钟形曲线(比如身高、体重、考试成绩)。
  • 正态性检验:判断你的数据是否符合这种钟形分布的统计方法。

为什么必须做?

因为 t检验、ANOVA、线性回归等经典统计方法,都有一个核心假设:数据服从正态分布。如果数据不正态,这些方法的结果会不准、不可靠,甚至完全错误!

正态性检验就是统计分析前的“安检”:
✅ 数据正态 → 放心用经典方法
❌ 数据不正态 → 换非参数方法(如Mann-Whitney U检验)或数据变换


二、3种最常用的正态性检验方法

1. 图形法:QQ图(最直观)

原理

把你的数据分位数,和标准正态分布的分位数一一对应画图。

  • 如果点大致落在一条直线上 → 数据符合正态分布
  • 如果点严重偏离直线 → 数据不符合正态分布
优点
  • 直观、可视化,能快速判断数据偏离正态的程度
  • 无严格的显著性阈值,适合初步筛选

2. Shapiro-Wilk检验(小样本首选)

原理

计算统计量 ( W ),衡量数据与正态分布的贴合程度:
W=(∑i=1naix(i))2∑i=1n(xi−x‾)2 W = \frac{\left(\sum_{i=1}^{n} a_i x_{(i)}\right)^2}{\sum_{i=1}^{n} (x_i - \overline{x})^2} W=∑i=1n​(xi​−x)2(∑i=1n​ai​x(i)​)2​

  • ( x(i)x_{(i)}x(i)​ ):排序后的样本数据
  • ( aia_iai​ ):基于样本量的理论常数
  • ( W ) 越接近1 → 数据越接近正态分布
统计假设
  • 原假设 ( H0H_0H0​ ):数据服从正态分布
  • 备择假设 ( H1H_1H1​ ):数据不服从正态分布
优点
  • 对小样本( n < 50 )精度高、检验力强
  • 计算高效,结果直观
缺点
  • 大样本(n > 1000 )过于敏感,会把轻微偏离正态的情况误判为“不正态”

3. Kolmogorov-Smirnov(K-S)检验(大样本适用)

原理

比较数据的“经验分布函数”和正态分布的“理论分布函数”,计算两者的最大差异 ( DnD_nDn​ ):
Dn=sup⁡x∣Dn(x)−F(x)∣ D_n = \sup_x |D_n(x) - F(x)| Dn​=xsup​∣Dn​(x)−F(x)∣

  • ( Dn(x)D_n(x)Dn​(x) ):数据的经验分布函数(实际观测的累积概率)
  • ( F(x)F(x)F(x) ):正态分布的理论累积分布函数
  • ( DnD_nDn​ ) 越小 → 数据越接近正态分布
统计假设
  • 原假设 ( H0H_0H0​ ):数据服从正态分布
  • 备择假设 ( H1H_1H1​ ):数据不服从正态分布
优点
  • 对大样本( n > 1000 )计算高效
  • 可用于检验任意分布(不止正态分布)
缺点
  • 对小样本检验力弱,容易误判“正态”
  • 对数据的偏态、峰态敏感

三、方法选择速查表(直接照选)

场景推荐方法
小样本(( n < 50 ))Shapiro-Wilk检验 + QQ图
中样本(50 ≤ n ≤ 1000)Shapiro-Wilk检验 + QQ图
大样本(( n > 1000 ))K-S检验 + QQ图
快速初步判断QQ图

四、Python 完整实战(可直接运行)

我们模拟零件重量数据,用3种方法做正态性检验,含可视化。

1. 导入库 + 生成数据

import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from scipy.stats import shapiro, kstest, probplot

# 固定随机种子
np.random.seed(42)

# 生成正态分布数据(零件重量:均值100g,标准差15g,1000个样本)
data = np.random.normal(loc=100, scale=15, size=1000)

2. 可视化数据分布(初步判断)

plt.figure(figsize=(10, 5))
sns.histplot(data, kde=True, color='dodgerblue', bins=30, stat='density')
plt.title('零件重量分布(含核密度曲线)', fontsize=14)
plt.xlabel('重量(g)', fontsize=12)
plt.ylabel('密度', fontsize=12)
plt.grid(alpha=0.3)
plt.show()

3. Shapiro-Wilk检验

# 执行检验
shapiro_stat, shapiro_p = shapiro(data)

# 输出结果
print("===== Shapiro-Wilk 检验 =====")
print(f"统计量 W: {shapiro_stat:.4f}")
print(f"p值: {shapiro_p:.4f}")

# 判断结果
if shapiro_p > 0.05:
    print("结论:p > 0.05,数据符合正态分布 ✅")
else:
    print("结论:p < 0.05,数据不符合正态分布 ❌")

4. K-S检验

# 计算数据的均值和标准差(用于K-S检验的理论分布参数)
data_mean = np.mean(data)
data_std = np.std(data)

# 执行检验(对比正态分布)
ks_stat, ks_p = kstest(data, 'norm', args=(data_mean, data_std))

# 输出结果
print("\n===== Kolmogorov-Smirnov 检验 =====")
print(f"统计量 D: {ks_stat:.4f}")
print(f"p值: {ks_p:.4f}")

# 判断结果
if ks_p > 0.05:
    print("结论:p > 0.05,数据符合正态分布 ✅")
else:
    print("结论:p < 0.05,数据不符合正态分布 ❌")

5. QQ图可视化

plt.figure(figsize=(8, 8))
probplot(data, dist="norm", plot=plt)
plt.title('正态性检验 QQ图', fontsize=14)
plt.grid(alpha=0.3)
plt.show()

五、数据不正态怎么办?(解决方案)

如果检验结果显示“数据不正态”,可按以下步骤处理:

1. 数据变换(最常用)

  • 对数变换:适合右偏数据(如收入、销量)
    log_data = np.log(data)  # 注意:数据需为正数
    
  • 平方根变换:适合轻度右偏数据
    sqrt_data = np.sqrt(data)
    
  • Box-Cox变换:自动选择最优变换方式
    from scipy.stats import boxcox
    transformed_data, _ = boxcox(data)
    

2. 换非参数检验方法

  • 替代t检验:Mann-Whitney U检验(独立样本)、Wilcoxon符号秩检验(配对样本)
  • 替代ANOVA:Kruskal-Wallis检验(多组样本)

六、正态性检验的优缺点(必背)

优点

  1. 是经典统计方法的“前置保障”,确保结果可靠
  2. 方法多样,可根据样本量灵活选择
  3. 结合可视化(QQ图),结果直观易解释

缺点

  1. 大样本下过于敏感,轻微偏离会误判“不正态”
  2. 对极端值、重尾数据不稳健
  3. 小样本下K-S检验检验力弱,容易误判“正态”
检验数据是否符合正态分布的统计方法 此外,小样本数据的统计指标可能不太可靠,因此更严格的检验方法(如Shapiro-Wilk检验、Kolmogorov-Smirnov检验和Anderson-Darling检验)通常更适合用于确定数据的分布情况。此外,需要谨慎解释检验结果,因为在大样本中,即使数据略微偏离正态分布,也可能导致检验结果拒绝原假设,而在小样本中则可能不敏感。根据这些检验的结果,你可以判断数据是否符合正态分布的假设。简而言之,Shapiro-Wilk检验统计值越小,表明数据越不符合正态分布,而p值用于确定检验结果的显著性。 阅读详情

相关推荐

Anderson-Darling正态性检验【重要统计工具】

Anderson-Darling正态性检验是一种用于确定数据集是否服从正态分布(也称为高斯分布或钟形曲线分布)的统计方法。它基于Anderson和Darling于1954年提出的检验统计量。

book_dw5189的博客 7765

数据分析之正态性检验

定义 利用观测数据判断总体是否服从正态分布的检验称为正态性检验,它是统计判决中重要的一种特殊的拟合优度假设检验。常用的正态性检验方法有正态概率纸法、夏皮罗一威尔克检验法(Shapiro-Wilktest),科尔莫戈罗夫检验法,偏度-峰度检验法等。 在数据分析过程中,数据的不同分布形态将直接影响数据分析策略的选择。因此,对数据分布形态的判定是非常重要内容。常见的数据分布形态有正态分布、均匀分布、指数分布、泊松分布等。但最重要也是最有用的分布形态是正态分布,很多数据分析技术都是面向正态分布的定距变量。

当我把这件事情做出来的时候,我想要的东西就已经拿到了 2万+

R语言基础统计分析:正态性检验、方差齐性检验、T检验、方差分析、秩和检验

R语言基础统计分析1. 正态性检验1.1 Shapiro-Wilk正态检验方法1.2 QQ图2. 方差齐性检验2.1 Bartlett检验,适用于正态分布数据2.2 Levene检验,非正态分布与正态分布数据均适用3. t 检验3.1 单样本t检验3.2 两独立样本t检验3.3 两配对样本t检验4. 方差分析5. 秩和检验5.1 两样本比较5.2 多样本比较 1. 正态性检验 单变量正态性检验 1.1 Shapiro-Wilk正态检验方法 # 示列: shapiro.test(var) # 正态性检验,p

dataxc的博客 2万+

正态性检验方法汇总

0.概述 正态分布在统计学中有着极为重要的地位,它是χ2\chi^2χ2分布、ttt分布、FFF分布的基础,也是许多统计方法的理论基础,故检验样本是否来自正态分布具有十分重要的意义。 正态性检验的方法有很多,以下列举了一些常见的方法: 对于正态性检验,建议首先利用直方图或核密度估计得到样本数据的分布图,若分布严重偏态或尖峰,可认为其不是来自于正态分布;若根据直方图或核密估计分布不容易做出判断,...

何足道的博客 3万+

19、统计假设检验与正态性评估

本文详细介绍了统计分析中的假设检验方法与正态性评估技术。内容涵盖假设检验的基本步骤、参数检验与非参数检验的区别、图形方法(如直方图、Q-Q图和箱线图)和统计检验方法(如卡方拟合优度检验、Anderson-Darling检验等)在正态性评估中的应用。此外,还提供了使用MATLAB进行卡方检验的示例和代码实现,帮助读者更准确地分析数据并做出科学决策。

honey的博客 115

excel统计分析——S-W正态性检验

使用原始的S-W检验,在8≤n≤50时可以利用,小样本(n<8)对偏离正态分布的检验不太有效。而J. P. Royston就是通过近似的方法改进了S-W方法,对样本量的要求为12≤n≤5000,甚至更多;根据W的公式可推算出,W是a与x之间的相关系数的平方,W的取值范围始终在0和1之间。3、利用标准正态分布的概率密度函数的反函数,对得到的CDF进行计算,记作。其中,当n为偶数时,m=n/2;当n为奇数时,m=(n-1)/2。的分布是未知的,必须通过模拟,造表或者近似方法获得。,其中,2<i<n-1,

maizeman126的博客 9477

常用三种正态检验方法

带正态曲线直方图 利用SPSS的菜单分析环境:“分析”-“描述统计”-“频率”,在绘图选项选择带正态曲线的直方图。 绘制带正态曲线的直方图通过对比直方图与正态曲线的拟合程度,判定数据序列的分布形态是否接近正态分布。下面两幅图是某班级语文和数学成绩,带有正态曲线的直方图。在图形上,显示出了与当前数据序列最接近的正态曲线。从图中可知,语文成绩分布于正态曲线比较接近,而数学成绩的分布则与正态曲线相距甚远。基于直方图及其相近的正态曲线的拟合程度,可以判定数据序列是否符合正态分布。Q-Q图和P-P图 利用.

weixin_41668007的博客 2万+

excel统计分析——Lilliefors正态性检验

3、计算统计量:Lilliefors检验的统计量是基于CDF的最大绝对偏差。统计量的计算涉及数据点与标准正态分布值的比较。2、数据预处理:首先,对数据进行排序,然后计算每个数据点的累积分布函数(CDF)值。1、提出假设:Lilliefors检验的原假设是数据来自正态分布(正态性假设)。与K-S检验不同,Lilliefors检验不需要假定数据的分布类型,它基于观测数据来评估是否来自正态分布。4、对比临界值:通过比较观察到的统计量与经过模拟或查找临界值得到的分布,寻找对应的临界值进行比较。

maizeman126的博客 2089

统计推断——正态性检验(图形方法、偏度和峰度、统计(拟合优度)检验)

正态分布是很多计量数据比较分析的假设前提,因此在做比较分析之前要首先验证样本数据所代表的总体是否服从正态分布(这样说太费劲,我们以后还是简单地说成“数据是否正态”)。当然对于比率数据的比较也需要满足分布前提,通常是二项分布和泊松分布,对于二项分布的比率比较,一般不需要做分布的验证。而对泊松分析的比率比较则需要事先验证其分布,验证方法就是卡方检验,这已在我前面发表的《抽样分布篇之五:卡尔•皮尔逊和卡...

huangguohui_123的博客 3万+

excel统计分析——CVM正态性检验

CVM检验的思想基本与K-S检验一致,与K-S检验相比,CVM检验统计量度量的是经验累积分布函数和目标累积分布函数的平方距离的积分。就是把每个数据点的差求平方以后相加,得到总的分布偏差,这样就考虑了所有的差异点,而不是像K-S检验那样只考虑一个最大的。常用方法的对比[J].循证医学,2014,14(02):123-128。1、将数据从小到大进行排序,形成x1

maizeman126的博客 1339

excel统计分析——A-D正态性检验

当总体分布参数未知,而样本量小到7<n≤25范围的情况下,A-D检验依旧可以较好地实现正态性检验,能敏感地揭示资料潜在的不对称性。此方法在计算尾部数据的平方距离时,给予了更高的权重;计算中间数据的平方距离时,给予其较小的权重。A-D检验是1954年由Anderson—Darling提出的正态性检验方法,实际上是对CVM检验的一种改进。1、对样本数据进行从小到大的排序,使得。,Φ为标准正态分布的累计分布函数,分别为样本的平均数和标准差。

maizeman126的博客 2971

excel统计分析——为什么要做正态性检验

一个正态分布的资料,离散趋势一般不会太明显,体现在均数和标准差大小上,标准差一般不会大于均数,如果标准差与均数相当或者大于均数,在样本量不是太小的情况下(一般N大于20),那我们一般认为这种情况总体不符合正态分布。严格讲,标准差仅说明数据的离散趋势大小,与样本对应的总体分布无确定对应关系。事实上,中心极限定理说的是:不管总体数据的分布是什么样的(可能是正态,也可能偏态),如果从总体中多次抽样,对于每个抽样样本计算统计量(如均值、中位数), 当每次抽样例数足够大,样本的均值或中位数近似服从正态分布。

maizeman126的博客 4728

S32K3双核实战:手把手教你用EB配置CAN与CANFD(附中断/轮询代码对比)

本文详细解析了NXP S32K3双核处理器在CAN/CANFD通信开发中的实战应用。通过Elektrobit配置工具链,从双核通信架构设计到EB tresos Studio配置全流程,再到中断与轮询模式的代码实现对比,全面指导开发者优化S32K3 FlexCAN模块性能,提升汽车电子系统的通信效率与可靠性。

weixin_30955617的博客 440

统计分析之:正态性检验——SPSS操作指南

       在进行统计分析时,研究者们经常遇到不能确定总体分布的情况,SPSS的正态性检验可以帮助解决这一问题。        先来看一下什么是正态性检验。利用观测数据判断总体是否服从正态分布的检验称为正态性检验,它是统计判决中重要的一种特殊的拟合优度假设检验。常用的正态性检验方法有正态概率纸法、夏皮罗维尔克检验法(Shapiro-Wilktest),科尔莫戈罗夫检验法,偏度-峰度检验法等。 ...

无名岛 10万+

单细胞专题(1) | 单细胞转录组研究样本准备指南(上)

单细胞RNA测序(scRNA-seq)是目前最前沿,能进行大规模实验的转录组研究技术,为理解细胞组成和动态生物学过程提供了很多新的见解。单细胞研究已经为我们理解发育过程,老化和疾病(如癌症)等提供了大量数据。在这里,小编主要就前期的样本准备与保存需注意问题给大家进行讲解,以备大家在不同的研究场景和研究背景下,走好单细胞转录组学研究的第一步。

bioyigene的博客 4232

计组实验之四路表决器

请在之前四路表决器电路实现的基础上,继续用连接线 联接CD4511,将投票为1的票数总和显示到一个 LED上,思考如何做?由于我们需要通过显示字形来直接看出有几个1,在这里,我们最多有四个1,即显示字形最多到4就行,所以我们需要将有几个1用2进制数来表示,下面给出了相关电路图。显示输入插口,按真值表(自拟)要求,逐次改变输入变量, 测量相应的输出值,验证逻辑功能, 与表3-1 进行比较, 验证所设计的逻辑电路是否符合要求。用实验结果与真值表3-1和3-2进行比对,可以得出,我们实验结果是正确的。

szyugly的博客 1万+

origin怎么对一列数据进行区间统计_Origin描述统计和正态性检验(文字版)

介绍Origin可以对一组数据,快速计算出其均值,标准差等统计数据,以方便进行数据分析。同时,很多的统计方法,如t检验和ANOVA,为了获得有效的结果,都要求数据从正态分布数据总体中取样获得。因此,对数据进行正态测试,分析是否正态分布是非常重要的 [1]。所以今天我们来看看,如何使用Origin进行数据的描述统计以及数据的正态性检验。[1] 叶卫平. Origin 9.1 科技绘图及数据分析.20...

weixin_40001372的博客 6547

FPGA实现16x16点阵汉字滚动显示:Verilog代码与Quartus仿真详解

本文详细介绍了如何使用FPGA实现16x16点阵汉字滚动显示,包括Verilog代码设计、Quartus仿真及硬件连接技巧。通过字模数据存储和扫描控制逻辑,实现汉字的动态显示效果,并提供了优化建议和常见问题解决方案,适合FPGA开发者和硬件爱好者学习参考。

weixin_29172963的博客 354

R统计工具:正态性检验

P-P图是根据变量的累积比例与指定分布的累积比例之间的关系所绘制的图形。通过P-P图可以检验数据是否符合指定的分布。当数据符合指定分布时,P-P图中各点近似呈一条直线。如果P-P图中各点不呈直线,但有一定规律,可以对变量数据进行转换,使转换后的数据更接近指定分布。 Q-Q图是用样本的分位数与所指定分布的分位数之间的关系曲线来进行检验。纵坐标为分布分位数,横坐标为样本分位数,要利用Q-Q图鉴别样本

一人一花 1万+

5分钟搞懂基因组规模代谢网络(GSMM):从数据库选择到模型构建全流程

本文详细解析基因组规模代谢网络(GSMM)构建的全流程,从数据库选择到模型优化。重点介绍MetaCyc、BiGG等主流数据库的黄金三角评估法则,对比自上而下与自下而上两种建模方法,并提供模型修剪、仿真优化的实用技巧与避坑指南,帮助研究者高效构建精准代谢网络模型。

weixin_30872157的博客 140

解决Android 14兼容性问题:NDK中arm64-v8a的正确配置方法

本文详细解析Android 14系统架构变化对NDK开发的影响,重点介绍arm64-v8a架构的正确配置方法。针对常见的兼容性问题如so库缺失、ABI不匹配等提供解决方案,并分享性能优化与自动化测试实践,助力开发者高效适配Android 14设备。

algae的博客 1228

【多元统计分析】09.独立性检验与正态性检验

首先讨论正态分布分量间的独立性检验,最后,讨论对于给定总体的正态性检验。

jingye333的博客 5166

Nsight Compute内存图表实战:如何快速定位CUDA内核的内存瓶颈(附配置截图)

本文详细介绍了如何使用Nsight Compute的Memory Chart功能快速定位和诊断CUDA内核中的内存性能瓶颈。通过解析内存图表中的逻辑与物理单元节点、连线颜色含义,并结合实战案例(如低L1缓存命中率、共享内存Bank冲突、全局内存访问未合并),指导开发者从可视化数据回溯至源代码,进行精准有效的内存访问优化,从而提升GPU程序性能。

zeta9的博客 482

数理统计复习笔记九——正态性检验

假设X1,⋯ ,XnX_1,\cdots,X_nX1​,⋯,Xn​是来自正态总体为F(x)F(x)F(x)的IIDIIDIID样本,现感兴趣的假设为H0:F(x)∈{Φ(x−μσ):μ∈R,σ>0}(1)H_0:F(x)\in\{\Phi(\frac{x-\mu}{\sigma}):\mu\in \bm R, \sigma\gt0\}\tag1H0​:F(x)∈{Φ(σx−μ​):μ∈R,σ>0}(1) 对于正态性检验,建议首先利用直方图或核密度估计得到样本数据的分布图,若分布严重偏态或尖峰,

TSzero的博客 1786

F280049C_HRPWM_死区时间高精度控制与MEP技术实战解析

本文深入解析了F280049C的HRPWM模块及其基于MEP技术的死区时间高精度控制。通过实测数据与TI官方代码对比,详细阐述了DBREDHR和DBFEDHR寄存器的配置技巧、精度优化方法及常见问题调试,为电源管理和电机控制应用提供了实用的实战指南。

yolo5detector的博客 217

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

数据正态性检验:可视化+统计检验+决策闭环实战指南

正态性检验是线性模型、t检验、ANOVA等参数方法的底层前提,其本质是验证数据分布是否满足对称性与尾部行为的统计假设。原理上需兼顾偏度(分布左右平衡)与峰度(极端值密度),单一p值易误判,必须结合Q-Q图定位异常区域、D’Agostino’s K²识别形态主导问题、Shapiro-Wilk适配小样本敏感性。该技术价值在于避免统计推断失真——如A/B测试误判显著性、线性回归预测偏差放大。典型场景包括用户行为时长右偏分析、金融逾期天数厚尾建模、传感器读数漂移诊断。本文提供可落地的组合检验框架与生产级Python

weixin_33212799的博客 303

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

上一篇: 【统计检验】卡方检验(χ²)
下一篇: 【统计分析】皮尔逊相关系数检验
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值