17、统计学中的显著性检验与实际案例应用

统计学中的显著性检验与实际案例应用

1. 效应大小的衡量标准

效应大小是衡量两个变量之间关系强度的指标，常见的衡量标准有以下几种：
- 相关系数 (r) ：小效应约为 ±0.2，中等效应约为 ±0.5，大效应需要相关系数达到 ±0.8。
- 变异系数 (r^2) ：相关系数的平方反映了一个变量的方差中能被另一个变量解释的比例。小效应至少能解释 4% 的方差，中等效应 ≥25%，大效应至少为 64%。
- 重叠百分比 ：两个概率分布的交集面积是衡量它们相似性的良好指标。相同的分布重叠 100%，不相交的区间重叠 0%。合理的阈值为：小效应重叠 53%，中等效应重叠 67%，大效应重叠 85%。

需要注意的是，任何显著的效应如果在统计上不显著，本质上都是值得怀疑的。统计显著性取决于样本数量，而效应大小则不然。

2. T 检验：比较总体均值

T 检验用于评估两个样本的总体均值是否不同，常用于 AB 测试中，判断产品的改变是否对性能产生影响。例如，向一组用户展示版本 A，向另一组展示版本 B，然后测量每个用户的系统性能值，如点击广告的次数或对体验的评分。

两个均值显著不同的条件如下：
- 均值差异相对较大 ：例如，美国男性平均体重比女性大很多，很容易得出男性平均体重大于女性的结论。但对于像智商这样较细微的差异，需要更多的证据来证明。
- 标准差足够小 ：如果观察到的数据紧密围绕均值分布，就更容易得出结论。例如