17、统计显著性与实际应用案例解析

统计显著性与实际应用案例解析

1. 统计显著性概述

统计显著性在数据分析中起着至关重要的作用，它能帮助我们判断所观察到的现象是否真实存在，还是仅仅由随机因素导致。在判断效应大小时，有几个关键的衡量指标：
- 相关系数 ：小效应的相关系数约为 ±0.2，中等效应约为 ±0.5，大效应则需要 ±0.8 的相关系数。
- 变异系数 (r^2) ：它是相关系数的平方，反映了一个变量的方差中由另一个变量解释的比例。小效应至少能解释 4% 的方差，中等效应 ≥25%，大效应至少为 64%。
- 重叠百分比 ：单个概率分布下的面积定义为 1，两个给定分布的交集面积是衡量它们相似性的良好指标。合理的阈值为：小效应重叠 53%，中等效应重叠 67%，大效应重叠 85%。

需要注意的是，任何没有统计显著性的显著效应本质上都是值得怀疑的。统计显著性取决于样本数量，而效应大小则不受此影响。

2. T - 检验：比较总体均值

2.1 T - 检验的应用场景

在实际应用中，我们常常需要比较两个样本的总体均值是否存在差异。例如，在 AB 测试中，我们会向一组用户展示版本 A，向另一组用户展示版本 B，然后测量每个用户的系统性能值，如广告点击次数或体验评分。T - 检验可以帮助我们判断两组之间观察到的差异是否显著。

2.2 显著差异的判断条件

两个均值存在显著差异需要满足以下条件：
- 均值差异相对较大 ：例如，很容易得出男性平均体