统计检验前置核心:正态性检验|原理+方法+Python实战全攻略
正态性检验是进行 t检验、方差分析(ANOVA)、线性回归 等统计分析前的必做前提检验,核心作用是判断数据是否符合“钟形曲线”的正态分布。。
一、什么是正态性检验?(一句话看懂)
- 正态分布:数据呈现“中间多、两头少、左右对称”的钟形曲线(比如身高、体重、考试成绩)。
- 正态性检验:判断你的数据是否符合这种钟形分布的统计方法。
为什么必须做?
因为 t检验、ANOVA、线性回归等经典统计方法,都有一个核心假设:数据服从正态分布。如果数据不正态,这些方法的结果会不准、不可靠,甚至完全错误!
正态性检验就是统计分析前的“安检”:
✅ 数据正态 → 放心用经典方法
❌ 数据不正态 → 换非参数方法(如Mann-Whitney U检验)或数据变换
二、3种最常用的正态性检验方法
1. 图形法:QQ图(最直观)
原理
把你的数据分位数,和标准正态分布的分位数一一对应画图。
- 如果点大致落在一条直线上 → 数据符合正态分布
- 如果点严重偏离直线 → 数据不符合正态分布
优点
- 直观、可视化,能快速判断数据偏离正态的程度
- 无严格的显著性阈值,适合初步筛选
2. Shapiro-Wilk检验(小样本首选)
原理
计算统计量 ( W ),衡量数据与正态分布的贴合程度:
W=(∑i=1naix(i))2∑i=1n(xi−x‾)2 W = \frac{\left(\sum_{i=1}^{n} a_i x_{(i)}\right)^2}{\sum_{i=1}^{n} (x_i - \overline{x})^2} W=∑i=1n(xi−x)2(∑i=1naix(i))2
- ( x(i)x_{(i)}x(i) ):排序后的样本数据
- ( aia_iai ):基于样本量的理论常数
- ( W ) 越接近1 → 数据越接近正态分布
统计假设
- 原假设 ( H0H_0H0 ):数据服从正态分布
- 备择假设 ( H1H_1H1 ):数据不服从正态分布
优点
- 对小样本( n < 50 )精度高、检验力强
- 计算高效,结果直观
缺点
- 大样本(n > 1000 )过于敏感,会把轻微偏离正态的情况误判为“不正态”
3. Kolmogorov-Smirnov(K-S)检验(大样本适用)
原理
比较数据的“经验分布函数”和正态分布的“理论分布函数”,计算两者的最大差异 ( DnD_nDn ):
Dn=supx∣Dn(x)−F(x)∣ D_n = \sup_x |D_n(x) - F(x)| Dn=xsup∣Dn(x)−F(x)∣
- ( Dn(x)D_n(x)Dn(x) ):数据的经验分布函数(实际观测的累积概率)
- ( F(x)F(x)F(x) ):正态分布的理论累积分布函数
- ( DnD_nDn ) 越小 → 数据越接近正态分布
统计假设
- 原假设 ( H0H_0H0 ):数据服从正态分布
- 备择假设 ( H1H_1H1 ):数据不服从正态分布
优点
- 对大样本( n > 1000 )计算高效
- 可用于检验任意分布(不止正态分布)
缺点
- 对小样本检验力弱,容易误判“正态”
- 对数据的偏态、峰态敏感
三、方法选择速查表(直接照选)
| 场景 | 推荐方法 |
|---|---|
| 小样本(( n < 50 )) | Shapiro-Wilk检验 + QQ图 |
| 中样本(50 ≤ n ≤ 1000) | Shapiro-Wilk检验 + QQ图 |
| 大样本(( n > 1000 )) | K-S检验 + QQ图 |
| 快速初步判断 | QQ图 |
四、Python 完整实战(可直接运行)
我们模拟零件重量数据,用3种方法做正态性检验,含可视化。
1. 导入库 + 生成数据
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from scipy.stats import shapiro, kstest, probplot
# 固定随机种子
np.random.seed(42)
# 生成正态分布数据(零件重量:均值100g,标准差15g,1000个样本)
data = np.random.normal(loc=100, scale=15, size=1000)
2. 可视化数据分布(初步判断)
plt.figure(figsize=(10, 5))
sns.histplot(data, kde=True, color='dodgerblue', bins=30, stat='density')
plt.title('零件重量分布(含核密度曲线)', fontsize=14)
plt.xlabel('重量(g)', fontsize=12)
plt.ylabel('密度', fontsize=12)
plt.grid(alpha=0.3)
plt.show()
3. Shapiro-Wilk检验
# 执行检验
shapiro_stat, shapiro_p = shapiro(data)
# 输出结果
print("===== Shapiro-Wilk 检验 =====")
print(f"统计量 W: {shapiro_stat:.4f}")
print(f"p值: {shapiro_p:.4f}")
# 判断结果
if shapiro_p > 0.05:
print("结论:p > 0.05,数据符合正态分布 ✅")
else:
print("结论:p < 0.05,数据不符合正态分布 ❌")
4. K-S检验
# 计算数据的均值和标准差(用于K-S检验的理论分布参数)
data_mean = np.mean(data)
data_std = np.std(data)
# 执行检验(对比正态分布)
ks_stat, ks_p = kstest(data, 'norm', args=(data_mean, data_std))
# 输出结果
print("\n===== Kolmogorov-Smirnov 检验 =====")
print(f"统计量 D: {ks_stat:.4f}")
print(f"p值: {ks_p:.4f}")
# 判断结果
if ks_p > 0.05:
print("结论:p > 0.05,数据符合正态分布 ✅")
else:
print("结论:p < 0.05,数据不符合正态分布 ❌")
5. QQ图可视化
plt.figure(figsize=(8, 8))
probplot(data, dist="norm", plot=plt)
plt.title('正态性检验 QQ图', fontsize=14)
plt.grid(alpha=0.3)
plt.show()
五、数据不正态怎么办?(解决方案)
如果检验结果显示“数据不正态”,可按以下步骤处理:
1. 数据变换(最常用)
- 对数变换:适合右偏数据(如收入、销量)
log_data = np.log(data) # 注意:数据需为正数 - 平方根变换:适合轻度右偏数据
sqrt_data = np.sqrt(data) - Box-Cox变换:自动选择最优变换方式
from scipy.stats import boxcox transformed_data, _ = boxcox(data)
2. 换非参数检验方法
- 替代t检验:Mann-Whitney U检验(独立样本)、Wilcoxon符号秩检验(配对样本)
- 替代ANOVA:Kruskal-Wallis检验(多组样本)
六、正态性检验的优缺点(必背)
优点
- 是经典统计方法的“前置保障”,确保结果可靠
- 方法多样,可根据样本量灵活选择
- 结合可视化(QQ图),结果直观易解释
缺点
- 大样本下过于敏感,轻微偏离会误判“不正态”
- 对极端值、重尾数据不稳健
- 小样本下K-S检验检验力弱,容易误判“正态”
7765



被折叠的 条评论
为什么被折叠?



