A/B test -- A/B test背后的科学原理

一、因果推断

因果推断是指在一种现象已经发生的情况下推出因果关系结论的过程。比如说全球气候变暖，需要分析是什么因素导致的，各个因素对全球气候变暖影响有多大。

因果推断要做的是识别因果关系，量化因果作用。而这也是A/B 测试要做的事情，即根据实验结果判断新版相比原来版本有无显著提升，如果有，提升了多少。随机化试验是因果推断的黄金法则，在心理学等领域有着广泛的应用，而A/B 测试恰好是随机化试验在互联网的应用。

根据因果推断随机化试验相关知识，如果实验组和对照组的实验结果指标有显著差异，那差异原因就来自于A、B两个不同版本（比如不同的文案、不同的按钮颜色、不同的推荐策略等）而非其他，且A、B两版本差异的大小就是新的实验方案对结果指标带来的作用大小。

二、大数定律

当试验条件不变时，随机试验重复多次以后，随机事件的频率近似等于随机事件的概率。

三、中心极限定理

常用的假设检验有不少，如t检验、Z检验、F检验、卡方检验等。那么之前的计算为何用的Z检验呢？这主要是基于中心极限定理。中心极限定理在教材上的表述如下：

这个定理看似有点反直觉，但如果真的理解其含义会发现也很自然。以下是统计学课本上常用的中心极限定理的图例说明：