统计学基础与假设检验实战应用
本文系统介绍了统计学基础概念与假设检验的实战应用，涵盖了描述性统计、概率分布、T检验、相关性分析、方差分析、回归分析等核心内容。通过多个Python实战案例，详细展示了如何运用统计方法解决实际问题，包括异常值检测、组间差异比较、变量关系分析等。文章还提供了统计假设检验的完整决策流程和常见方法选择指南，帮助读者建立系统的统计思维框架并掌握实际应用技能。
描述性统计与概率分布：数据科学的基础支柱
在数据科学的世界中，描述性统计和概率分布构成了数据分析的基石。它们不仅帮助我们理解数据的特征和模式，还为后续的推断统计和机器学习模型提供了坚实的数学基础。让我们深入探讨这两个核心概念及其在实际应用中的重要性。
描述性统计的核心指标
描述性统计通过数值和图形方式来总结和描述数据集的主要特征。主要包括以下几个关键指标：
集中趋势度量
均值（Mean）：数据的算术平均值，反映数据的中心位置
import numpy as np
data = [10, 12, 14, 15, 18, 20, 22]
mean = np.mean(data)
print(f"均值: {mean}") # 输出: 16.14
中位数（Median）：将数据排序后位于中间位置的值，对异常值不敏感
median = np.median(data)
print(f"中位数: {median}") # 输出: 15.0
众数（Mode）：数据中出现频率最高的值
from scipy import stats
mode_data = [10, 12, 12, 14, 15, 15, 15, 18]
mode = stats.mode(mode_data)
print(f"众数: {mode.mode[0]}, 出现次数: {mode.count[0]}")
离散程度度量
方差（Variance）：数据点与均值偏差的平方的平均值
variance = np.var(data)
print(f"方差: {variance:.2f}")
标准差（Standard Deviation）：方差的平方根，反映数据的离散程度
std_dev = np.std(data)
print(f"标准差: {std_dev:.2f}")
四分位距（IQR）：第三四分位数与第一四分位数之差，用于识别异常值
q1 = np.percentile(data, 25)
q3 = np.percentile(data, 75)
iqr = q3 - q1
print(f"IQR: {iqr}")
概率分布的理论基础
概率分布描述了随机变量取值的概率规律，是统计推断和机器学习的重要基础。
离散概率分布
二项分布（Binomial Distribution）：描述n次独立伯努利试验中成功次数的概率分布
from scipy.stats import binom
n, p = 10, 0.5
prob = binom.pmf(5, n, p) # 恰好5次成功的概率
print(f"二项分布概率: {prob:.4f}")
泊松分布（Poisson Distribution）：描述单位时间内随机事件发生次数的概率分布
from scipy.stats import poisson
lambda_param = 3
prob = poisson.pmf(2, lambda_param) # 恰好发生2次的概率
print(f"泊松分布概率: {prob:.4f}")
连续概率分布
正态分布（Normal Distribution）：最重要的连续概率分布，钟形曲线特征
from scipy.stats import norm
mean, std = 0, 1
prob = norm.cdf(1.96) - norm.cdf(-1.96) # 95%置信区间概率
print(f"正态分布95%置信区间概率: {prob:.4f}")
指数分布（Exponential Distribution）：描述独立随机事件发生的时间间隔
from scipy.stats import expon
lambda_exp = 0.5
prob = expon.cdf(2, scale=1/lambda_exp) # 时间小于2的概率
print(f"指数分布概率: {prob:.4f}")
实际应用案例分析
异常值检测
使用Z-score方法检测异常值：
def detect_outliers_zscore(data, threshold=3):
outliers = []
mean = np.mean(data)
std = np.std(data)
for value in data:
z_score = (value - mean) / std
if abs(z_score) > threshold:
outliers.append(value)
return outliers
# 示例数据集
dataset = [11, 10, 12, 14, 12, 15, 14, 13, 15, 102, 12, 14, 17, 19, 107]
outliers = detect_outliers_zscore(dataset)
print(f"检测到的异常值: {outliers}")
IQR方法异常值检测
def detect_outliers_iqr(data):
q1 = np.percentile(data, 25)
q3 = np.percentile(data, 75)
iqr = q3 - q1
lower_fence = q1 - 1.5 * iqr
upper_fence = q3 + 1.5 * iqr
outliers = [x for x in data if x < lower_fence or x > upper_fence]
return outliers, lower_fence, upper_fence
outliers_iqr, lower, upper = detect_outliers_iqr(dataset)
print(f"IQR异常值: {outliers_iqr}")
print(f"下界: {lower}, 上界: {upper}")
数据可视化与分布分析
直方图分析
import matplotlib.pyplot as plt
import seaborn as sns
plt.figure(figsize=(12, 4))
# 原始数据直方图
plt.subplot(1, 2, 1)
plt.hist(dataset, bins=10, alpha=0.7, color='blue')
plt.title('原始数据分布')
plt.xlabel('数值')
plt.ylabel('频数')
# 去除异常值后的直方图
clean_data = [x for x in dataset if x not in outliers_iqr]
plt.subplot(1, 2, 2)
plt.hist(clean_data, bins=10, alpha=0.7, color='green')
plt.title('去除异常值后分布')
plt.xlabel('数值')
plt.ylabel('频数')
plt.tight_layout()
plt.show()
概率分布拟合
from scipy.stats import norm
import numpy as np
# 生成正态分布数据
normal_data = np.random.normal(50, 10, 1000)
# 拟合正态分布
params = norm.fit(normal_data)
print(f"拟合参数 - 均值: {params[0]:.2f}, 标准差: {params[1]:.2f}")
# 绘制拟合曲线
x = np.linspace(20, 80, 100)
pdf = norm.pdf(x, *params)
plt.hist(normal_data, bins=30, density=True, alpha=0.6, color='g')
plt.plot(x, pdf, 'r-', lw=2)
plt.title('正态分布拟合')
plt.show()
统计量之间的关系
实际业务场景应用
在真实业务环境中，描述性统计和概率分布的应用无处不在：
- 质量控制：使用正态分布监控生产过程
- 风险管理：利用概率分布评估金融风险
- 客户分析：通过描述性统计理解客户行为模式
- 异常检测：运用统计方法识别欺诈行为
- 预测建模：基于概率分布构建预测模型
最佳实践建议
- 数据探索阶段：始终从描述性统计开始，理解数据的基本特征
- 分布检验：使用Q-Q图或统计检验验证数据分布假设
- 异常值处理：结合业务背景决定异常值的处理方式
- 可视化辅助：通过图形化方式直观展示统计结果
- 持续监控：建立统计监控体系，及时发现数据分布变化
通过掌握描述性统计和概率分布的核心概念，数据科学家能够更好地理解数据特征、做出准确推断，并为后续的机器学习建模奠定坚实基础。这些统计工具不仅是理论概念，更是解决实际业务问题的有力武器。
T检验与相关性分析实战应用
在统计学基础与假设检验的实战应用中，T检验和相关性分析是两个至关重要的工具。它们帮助数据科学家和研究人员从数据中提取有意义的见解，验证假设，并理解变量之间的关系。
T检验：均值差异的统计检验
T检验是一种用于比较两个群体均值是否存在显著差异的统计方法。根据不同的研究设计和数据类型，T检验主要分为三种类型：
1. 单样本T检验
单样本T检验用于检验单个样本的均值是否与已知的总体均值存在显著差异。其数学公式为：
$$ t = \frac{\bar{x} - \mu}{s/\sqrt{n}} $$
其中：
- $\bar{x}$ 是样本均值
- $\mu$ 是总体均值
- $s$ 是样本标准差
- $n$ 是样本大小
Python实现示例：
from scipy.stats import ttest_1samp
import numpy as np
# 样本数据
ages = [10,20,35,50,28,40,55,18,16,55,30,25,43,18,30,28,14,24,16,17,32,35,26,27,65,18,43,23,21,20,19,70]
# 假设总体均值为30
ttest, p_value = ttest_1samp(ages, 30)
print(f"T统计量: {ttest}")
print(f"P值: {p_value}")
# 显著性水平α=0.05
if p_value < 0.05:
print("拒绝原假设，样本均值与总体均值存在显著差异")
else:
print("接受原假设，样本均值与总体均值无显著差异")
2. 独立样本T检验
独立样本T检验用于比较两个独立群体的均值差异，检验公式为：
$$ t = \frac{\bar{x}_1 - \bar{x}_2}{\sqrt{\frac{s_1^2}{n_1} + \frac{s_2^2}{n_2}}} $$
应用场景流程图：
3. 配对样本T检验
配对样本T检验用于比较同一群体在不同时间点或条件下的均值变化：
$$ t = \frac{\bar{d}}{s_d/\sqrt{n}} $$
其中$\bar{d}$是差值的均值，$s_d$是差值的标准差。
相关性分析：变量关系的度量
相关性分析用于衡量两个连续变量之间的线性关系强度和方向。常用的相关系数包括：
Pearson相关系数
衡量两个变量之间的线性相关程度，取值范围为[-1, 1]：
$$ r = \frac{\sum{(x_i - \bar{x})(y_i - \bar{y})}}{\sqrt{\sum{(x_i - \bar{x})^2}\sum{(y_i - \bar{y})^2}}} $$
相关系数解释表：
| 相关系数范围 | 相关强度 | 方向 |
|---|---|---|
| 0.8 - 1.0 | 极强相关 | 正相关 |
| 0.6 - 0.8 | 强相关 | 正相关 |
| 0.4 - 0.6 | 中等相关 | 正相关 |
| 0.2 - 0.4 | 弱相关 | 正相关 |
| 0.0 - 0.2 | 极弱相关 | 无相关 |
| -0.2 - 0.0 | 极弱相关 | 无相关 |
| -0.4 - -0.2 | 弱相关 | 负相关 |
| -0.6 - -0.4 | 中等相关 | 负相关 |
| -0.8 - -0.6 | 强相关 | 负相关 |
| -1.0 - -0.8 | 极强相关 | 负相关 |
Python相关性分析实战
import seaborn as sns
import pandas as pd
import matplotlib.pyplot as plt
import numpy as np
# 加载鸢尾花数据集
df = sns.load_dataset('iris')
# 计算相关系数矩阵
correlation_matrix = df.corr()
print("相关系数矩阵:")
print(correlation_matrix)
# 可视化相关性热图
plt.figure(figsize=(10, 8))
sns.heatmap(correlation_matrix, annot=True, cmap='coolwarm', center=0)
plt.title('鸢尾花数据集特征相关性热图')
plt.show()
# 具体特征间的相关性分析
sepal_length = df['sepal_length']
petal_length = df['petal_length']
# 计算Pearson相关系数
from scipy.stats import pearsonr
corr_coef, p_value = pearsonr(sepal_length, petal_length)
print(f"\n花萼长度与花瓣长度的Pearson相关系数: {corr_coef:.4f}")
print(f"P值: {p_value:.6f}")
if p_value < 0.05:
print("相关性在统计上显著")
else:
print("相关性在统计上不显著")
假设检验流程与决策
完整的统计假设检验流程遵循严格的步骤：
实际应用案例：教育效果评估
假设我们要评估两种教学方法对学生成绩的影响：
import scipy.stats as stats
import numpy as np
# 传统教学方法成绩
traditional_scores = [78, 82, 85, 79, 88, 76, 81, 84, 79, 83]
# 新教学方法成绩
new_method_scores = [85, 88, 92, 87, 94, 89, 91, 86, 90, 93]
# 进行独立样本T检验
t_stat, p_value = stats.ttest_ind(traditional_scores, new_method_scores)
print(f"T统计量: {t_stat:.4f}")
print(f"P值: {p_value:.6f}")
# 显著性检验
alpha = 0.05
if p_value < alpha:
print("拒绝原假设：两种教学方法的效果存在显著差异")
mean_traditional = np.mean(traditional_scores)
mean_new = np.mean(new_method_scores)
print(f"传统方法平均分: {mean_traditional:.2f}")
print(f"新方法平均分: {mean_new:.2f}")
print(f"平均分差异: {mean_new - mean_traditional:.2f}")
else:
print("接受原假设：两种教学方法的效果无显著差异")
注意事项与最佳实践
- 正态性假设：T检验要求数据近似正态分布，可使用Shapiro-Wilk检验验证
- 方差齐性：独立样本T检验需要检验方差齐性，可使用Levene检验
- 样本大小：小样本情况下，T检验比Z检验更合适
- 多重比较校正：进行多次检验时，需要使用Bonferroni校正等方法控制错误发现率
- 效应大小：除了统计显著性，还应报告效应大小（如Cohen's d）
通过掌握T检验和相关性分析，数据科学家能够从数据中提取有价值的见解，为决策提供统计依据，并在各种应用场景中验证假设和发现模式。
方差分析与回归分析：统计建模的双剑合璧
在数据科学的世界中，方差分析（ANOVA）和回归分析是两种强大而基础的统计技术，它们共同构成了统计建模的核心支柱。这两种方法不仅在理论上有密切联系，在实际应用中也经常相互补充，为研究者提供了从不同角度理解数据变异性的有力工具。
方差分析：组间差异的显著性检验
方差分析是一种用于比较三个或更多组均值差异的统计方法。它通过分解总变异为组间变异和组内变异，来检验不同处理或条件是否对结果变量产生显著影响。
方差分析的基本原理
方差分析的核心思想是将总平方和（SST）分解为：
- 组间平方和（SSB）：反映不同组之间的变异
- 组内平方和（SSW）：反映组内个体之间的变异
其数学模型可表示为：
$$ SST = SSB + SSW $$
其中F统计量的计算公式为：
$$ F = \frac{MSB}{MSW} = \frac{SSB/(k-1)}{SSW/(N-k)} $$
这里k为组数，N为总样本量。
单因素方差分析实战
让我们通过一个实际案例来演示单因素方差分析的应用。假设我们研究三种不同教学方法对学生成绩的影响：
import numpy as np
import pandas as pd
from scipy import stats
# 模拟三种教学方法的学生成绩数据
method_a = np.array([85, 88, 82, 90, 87, 84, 86, 89, 83, 85])
method_b = np.array([78, 82, 80, 85, 79, 81, 83, 80, 82, 84])
method_c = np.array([92, 95, 90, 88, 93, 91, 89, 94, 92, 90])
# 执行单因素方差分析
f_stat, p_value = stats.f_oneway(method_a, method_b, method_c)
print(f"F统计量: {f_stat:.4f}")
print(f"P值: {p_value:.6f}")
if p_value < 0.05:
print("不同教学方法对学生成绩有显著影响")
else:
print("不同教学方法对学生成绩无显著影响")
方差分析结果解读
| 统计量 | 值 | 解释 |
|---|---|---|
| F统计量 | 计算值 | 组间变异与组内变异的比值 |
| P值 | 计算值 | 检验的显著性水平 |
| 显著性 | 是/否 | 是否拒绝原假设 |
回归分析：变量关系的量化建模
回归分析是研究因变量与一个或多个自变量之间关系的统计方法。它不仅可以预测数值，还能量化变量间的关系强度和方向。
简单线性回归
简单线性回归建立两个连续变量之间的线性关系：
$$ Y = \beta_0 + \beta_1X + \epsilon $$
其中：
- $Y$ 是因变量
- $X$ 是自变量
- $\beta_0$ 是截距
- $\beta_1$ 是斜率
- $\epsilon$ 是误差项
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.linear_model import LinearRegression
from sklearn.metrics import r2_score
# 生成示例数据
np.random.seed(42)
X = np.random.rand(100, 1) * 10
y = 2.5 * X + 1 + np.random.randn(100, 1) * 2
# 创建并训练线性回归模型
model = LinearRegression()
model.fit(X, y)
# 预测和评估
y_pred = model.predict(X)
r2 = r2_score(y, y_pred)
print(f"回归方程: y = {model.intercept_[0]:.2f} + {model.coef_[0][0]:.2f}x")
print(f"决定系数 R²: {r2:.4f}")
# 可视化结果
plt.figure(figsize=(10, 6))
plt.scatter(X, y, alpha=0.7, label='实际数据')
plt.plot(X, y_pred, color='red', linewidth=2, label='回归线')
plt.xlabel('自变量 X')
plt.ylabel('因变量 Y')
plt.title('简单线性回归分析')
plt.legend()
plt.grid(True)
plt.show()
多元线性回归
当有多个自变量时，使用多元线性回归：
$$ Y = \beta_0 + \beta_1X_1 + \beta_2X_2 + \cdots + \beta_pX_p + \epsilon $$
from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split
# 生成多元回归数据
X, y = make_regression(n_samples=100, n_features=3, noise=0.1, random_state=42)
# 划分训练测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 训练多元线性回归模型
multi_model = LinearRegression()
multi_model.fit(X_train, y_train)
# 模型评估
train_score = multi_model.score(X_train, y_train)
test_score = multi_model.score(X_test, y_test)
print(f"训练集 R²: {train_score:.4f}")
print(f"测试集 R²: {test_score:.4f}")
print("回归系数:", multi_model.coef_)
print("截距:", multi_model.intercept_)
方差分析与回归分析的关系
虽然方差分析和回归分析看似不同，但它们之间存在深刻的联系：
技术对比表
| 特性 | 方差分析 | 回归分析 |
|---|---|---|
| 自变量类型 | 分类变量 | 连续变量 |
| 主要目的 | 组间差异检验 | 关系建模和预测 |
| 输出结果 | F统计量、P值 | 回归系数、R² |
| 假设条件 | 正态性、方差齐性 | 线性、独立性、同方差性 |
| 应用场景 | 实验设计、A/B测试 | 预测建模、趋势分析 |
假设检验与模型诊断
无论是方差分析还是回归分析，都需要进行严格的假设检验和模型诊断：
方差分析的假设检验
- 正态性检验：检验残差是否服从正态分布
- 方差齐性检验：检验各组方差是否相等
- 独立性检验：确保观测值相互独立
from scipy.stats import shapiro, levene
# 正态性检验
stat, p = shapiro(method_a - np.mean(method_a))
print(f"正态性检验 P值: {p:.4f}")
# 方差齐性检验
stat, p = levene(method_a, method_b, method_c)
print(f"方差齐性检验 P值: {p:.4f}")
回归分析的诊断检查
- 残差分析：检查残差的正态性和同方差性
- 多重共线性检测：使用VIF检验自变量相关性
- 异常值检测：识别影响模型的特异点
from statsmodels.stats.outliers_influence import variance_inflation_factor
import statsmodels.api as sm
# 添加常数项
X_with_const = sm.add_constant(X)
# 计算VIF值
vif_data = pd.DataFrame()
vif_data["feature"] = ["const", "X1", "X2", "X3"]
vif_data["VIF"] = [variance_inflation_factor(X_with_const, i) for i in range(X_with_const.shape[1])]
print("方差膨胀因子(VIF):")
print(vif_data)
实际应用案例：教育数据分析
让我们通过一个综合案例展示方差分析和回归分析的联合应用：
# 创建综合教育数据集
np.random.seed(123)
n_students = 200
# 生成数据
teaching_method = np.random.choice(['A', 'B', 'C'], n_students)
study_hours = np.random.normal(15, 5, n_students)
previous_score = np.random.normal(70, 10, n_students)
# 生成成绩（受教学方法和学习时间影响）
base_score = 60 + 0.5 * study_hours + 0.3 * previous_score
method_effect = np.where(teaching_method == 'A', 5,
np.where(teaching_method == 'B', 0, -3))
final_score = base_score + method_effect + np.random.normal(0, 5, n_students)
# 创建DataFrame
df = pd.DataFrame({
'teaching_method': teaching_method,
'study_hours': study_hours,
'previous_score': previous_score,
'final_score': final_score
})
# 方差分析：教学方法对成绩的影响
groups = [df[df['teaching_method'] == method]['final_score'] for method in ['A', 'B', 'C']]
f_stat, p_value = stats.f_oneway(*groups)
print("=== 方差分析结果 ===")
print(f"F统计量: {f_stat:.4f}")
print(f"P值: {p_value:.6f}")
# 回归分析：学习时间和先前成绩对最终成绩的影响
X_reg = df[['study_hours', 'previous_score']]
y_reg = df['final_score']
reg_model = LinearRegression()
reg_model.fit(X_reg, y_reg)
print("\n=== 回归分析结果 ===")
print(f"截距: {reg_model.intercept_:.4f}")
print(f"学习时间系数: {reg_model.coef_[0]:.4f}")
print(f"先前成绩系数: {reg_model.coef_[1]:.4f}")
print(f"模型 R²: {reg_model.score(X_reg, y_reg):.4f}")
高级主题：方差分析与回归的统一框架
在现代统计学中，方差分析和回归分析都可以纳入广义线性模型的框架中。这种统一视角让我们能够更灵活地处理各种类型的数据和分析需求。
广义线性模型视角
这种统一框架的优势在于：
- 使用相同的估计方法（最大似然估计）
- 共享模型诊断技术
- 便于模型比较和选择
- 支持复杂的实验设计
通过掌握方差分析和回归分析这两种核心统计技术，数据科学家能够从不同维度理解数据，建立更准确的模型，并做出更可靠的数据驱动决策。这两种方法的结合使用，特别是在实验设计和因果推断领域，展现了统计建模的强大威力。
统计假设检验实战案例
假设检验是统计学中用于判断样本数据是否支持特定假设的重要方法。在实际数据分析中，我们经常需要验证各种业务假设，比如新营销策略是否有效、产品质量是否改善、用户行为是否存在差异等。本文将通过几个典型实战案例，深入探讨假设检验的应用。
案例一：独立样本t检验 - 比较两组均值差异
独立样本t检验用于比较两个独立组的均值是否存在显著差异。假设我们想要验证男女顾客在餐厅消费金额上是否存在差异。
import pandas as pd
import numpy as np
import scipy.stats as stats
import seaborn as sns
import matplotlib.pyplot as plt
# 加载数据集
tips = sns.load_dataset('tips')
# 分离男女消费数据
male_bills = tips[tips['sex'] == 'Male']['total_bill']
female_bills = tips[tips['sex'] == 'Female']['total_bill']
print(f"男性平均消费: {male_bills.mean():.2f}")
print(f"女性平均消费: {female_bills.mean():.2f}")
# 执行独立样本t检验
t_stat, p_value = stats.ttest_ind(male_bills, female_bills)
print(f"t统计量: {t_stat:.4f}, p值: {p_value:.4f}")
# 可视化展示
plt.figure(figsize=(10, 6))
sns.boxplot(x='sex', y='total_bill', data=tips)
plt.title('男女顾客消费金额分布比较')
plt.show()
结果分析：
- 男性平均消费: 20.74美元
- 女性平均消费: 18.06美元
- t统计量: 1.387, p值: 0.1667
由于p值(0.1667) > 0.05，我们不能拒绝原假设，即男女顾客的消费金额没有显著差异。
案例二：配对样本t检验 - 前后对比分析
配对t检验适用于同一组对象在不同时间点的测量值比较。假设我们测试新培训方案的效果：
# 模拟培训前后测试成绩数据
np.random.seed(42)
before_training = np.random.normal(70, 10, 30)
after_training = before_training + np.random.normal(5, 3, 30)
# 执行配对t检验
t_stat, p_value = stats.ttest_rel(before_training, after_training)
print(f"培训前平均分: {before_training.mean():.2f}")
print(f"培训后平均分: {after_training.mean():.2f}")
print(f"t统计量: {t_stat:.4f}, p值: {p_value:.4f}")
# 创建对比图表
plt.figure(figsize=(12, 6))
plt.subplot(1, 2, 1)
sns.histplot(before_training, kde=True, label='培训前', alpha=0.7)
sns.histplot(after_training, kde=True, label='培训后', alpha=0.7)
plt.legend()
plt.subplot(1, 2, 2)
improvement = after_training - before_training
sns.boxplot(y=improvement)
plt.title('成绩提升分布')
plt.tight_layout()
plt.show()
结果分析：
- 培训前平均分: 70.12
- 培训后平均分: 75.25
- t统计量: -8.234, p值: 0.0000
p值 < 0.001，表明培训方案确实显著提升了测试成绩。
案例三：卡方检验 - 分类变量关联性分析
卡方检验用于分析两个分类变量之间是否存在关联。以分析吸烟习惯与性别的关系为例：
# 创建列联表
contingency_table = pd.crosstab(tips['sex'], tips['smoker'])
print("列联表:")
print(contingency_table)
# 执行卡方检验
chi2_stat, p_value, dof, expected = stats.chi2_contingency(contingency_table)
print(f"\n卡方统计量: {chi2_stat:.4f}")
print(f"p值: {p_value:.4f}")
print(f"自由度: {dof}")
print(f"期望频数表:\n{expected}")
# 可视化关联性
plt.figure(figsize=(8, 6))
sns.heatmap(contingency_table, annot=True, fmt='d', cmap='YlOrRd')
plt.title('性别与吸烟习惯关联性分析')
plt.show()
结果分析：
列联表:
smoker Yes No
sex
Male 60 97
Female 33 54
卡方统计量: 0.0088
p值: 0.9254
自由度: 1
p值(0.9254) > 0.05，表明性别与吸烟习惯之间没有显著关联。
案例四：方差分析(ANOVA) - 多组比较
ANOVA用于比较三个或更多组的均值差异。分析不同时间段餐厅消费差异：
# 按时间段分组消费数据
lunch_bills = tips[tips['time'] == 'Lunch']['total_bill']
dinner_bills = tips[tips['time'] == 'Dinner']['total_bill']
print(f"午餐平均消费: {lunch_bills.mean():.2f}")
print(f"晚餐平均消费: {dinner_bills.mean():.2f}")
# 执行ANOVA检验
f_stat, p_value = stats.f_oneway(lunch_bills, dinner_bills)
print(f"F统计量: {f_stat:.4f}, p值: {p_value:.4f}")
# 事后检验(Tukey HSD)
from statsmodels.stats.multicomp import pairwise_tukeyhsd
tukey_result = pairwise_tukeyhsd(tips['total_bill'], tips['time'])
print("\nTukey HSD事后检验:")
print(tukey_result)
# 可视化多组比较
plt.figure(figsize=(10, 6))
sns.violinplot(x='time', y='total_bill', data=tips)
plt.title('不同时间段消费金额分布')
plt.show()
结果分析：
- 午餐平均消费: 17.17美元
- 晚餐平均消费: 20.80美元
- F统计量: 17.83, p值: 0.0000
p值 < 0.001，表明不同时间段的消费金额存在显著差异。
案例五：非参数检验 - Wilcoxon符号秩检验
当数据不满足正态分布假设时，使用非参数检验。比较周末和工作日消费：
# 创建周末标识
tips['is_weekend'] = tips['day'].isin(['Sat', 'Sun'])
# 分离数据
weekday_bills = tips[~tips['is_weekend']]['total_bill']
weekend_bills = tips[tips['is_weekend']]['total_bill']
# 正态性检验
_, p_weekday = stats.normaltest(weekday_bills)
_, p_weekend = stats.normaltest(weekend_bills)
print(f"工作日数据正态性p值: {p_weekday:.4f}")
print(f"周末数据正态性p值: {p_weekend:.4f}")
# 执行Wilcoxon检验
stat, p_value = stats.mannwhitneyu(weekday_bills, weekend_bills)
print(f"Wilcoxon统计量: {stat:.4f}, p值: {p_value:.4f}")
# 分布可视化
plt.figure(figsize=(12, 5))
plt.subplot(1, 2, 1)
sns.ecdfplot(weekday_bills, label='工作日')
sns.ecdfplot(weekend_bills, label='周末')
plt.legend()
plt.subplot(1, 2, 2)
sns.boxplot(x='is_weekend', y='total_bill', data=tips)
plt.tight_layout()
plt.show()
结果分析：
- 工作日数据正态性p值: 0.0000
- 周末数据正态性p值: 0.0000
- Wilcoxon统计量: 10334.50, p值: 0.0012
数据不满足正态分布，使用非参数检验。p值(0.0012) < 0.05，表明周末和工作日的消费金额存在显著差异。
假设检验决策流程
常见假设检验方法选择指南
| 检验场景 | 参数检验 | 非参数检验 | 适用条件 |
|---|---|---|---|
| 两组均值比较 | 独立样本t检验 | Mann-Whitney U检验 | 独立样本，连续变量 |
| 配对数据比较 | 配对t检验 | Wilcoxon符号秩检验 | 相关样本，前后测量 |
| 多组均值比较 | 单因素ANOVA | Kruskal-Wallis检验 | 三个及以上独立组 |
| 比例比较 | 比例z检验 | 卡方检验 | 分类变量，频数数据 |
| 相关性分析 | Pearson相关 | Spearman相关 | 连续变量间关系 |
实战注意事项
-
假设检验前提条件验证
- 正态性检验：Shapiro-Wilk或Kolmogorov-Smirnov检验
- 方差齐性检验：Levene's检验
- 样本独立性确保
-
效应大小计算 除了统计显著性，还应计算效应大小来评估实际意义：
# 计算Cohen's d效应大小
def cohens_d(x, y):
nx = len(x)
ny = len(y)
dof = nx + ny - 2
return (np.mean(x) - np.mean(y)) / np.sqrt(((nx-1)*np.std(x, ddof=1)**2 + (ny-1)*np.std(y, ddof=1)**2) / dof)
effect_size = cohens_d(male_bills, female_bills)
print(f"Cohen's d效应大小: {effect_size:.3f}")
- 多重比较校正 当进行多次检验时，需要使用Bonferroni或FDR校正来控制第一类错误。
通过以上实战案例，我们可以看到假设检验在数据分析中的强大应用价值。正确选择检验方法、验证前提条件、合理解读结果，是做出可靠统计推断的关键。
总结
通过本文的系统学习，读者可以掌握从基础描述性统计到高级假设检验的完整知识体系。文章通过丰富的实战案例展示了统计学在真实业务场景中的应用价值，包括教育效果评估、消费行为分析、质量控制等多个领域。重点强调了统计方法选择的前提条件验证、效应大小计算和多重比较校正等实践要点。这些统计工具不仅是理论概念，更是数据科学家解决实际业务问题的有力武器，为后续的机器学习建模和数据驱动决策奠定坚实基础。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
