ABTest之最常见的八个错误

A/B testing是一切以数据为驱动的公司的常用工具和一大迭代开发利器，在此我们总结出最常见的十个错误，希望大家以后能够避免。

1. P-value给出了得出该实验结果的概率

P-value应该是A/B testing中最容易被误解的概念，而且错误的解释千奇百怪，其中最常见的一个就是“P-value告诉我们得出该实验结果的概率，比如P-value=0.1，说明我们有90%的概率拿到该实验结果”。实际上P-value描述的是随机性，指的是在虚无假设（Null hypothesis）为真的情况下，得到该结果的概率，即在treatment和control没有区别的情况下（A/A实验）得到该数据的概率。所以P-value=0.1，意味着有10%的A/A实验就可以得到该实验结果。P-value越高，实验结果由随机性得到的概率就越大。当P-value低于我们设置的显著性闸值（alpha value，常用0.05）时，我们认为由随机性得到该实验结果的概率较低，该实验结果主要由于treatment和control间差异导致，因此我们说该实验结果显著。显著性闸值可以根据业务自己设定，对于稳定性要求较高的业务，可以选择更低的P-value（比如0.01）；对于希望更新迭代更快的业务，可以选择更高的闸值（比如0.1）。

2. 实验前无假设，想跑跑看看结果再说

实验前无假设是后面介绍的很多错误的直接原因。A/B testing本质上是一个假设检验的过程，如果没有实验假设就不应该跑实验。实验假设包括三个组成部分：

a. 因果假设：比如：预期改变xxx可以提高用户使用率，从而提高人均用户gmv；
b. 提升的指标及数值：比如：提升人均gmv 150美元，提升人均使用时长5%等；
c. 不会改变的指标：比如：此实验不会改变app闪退数，不会改变app首次打开的平均延迟等；

有这三