AB测试的统计学原理

随笔记一些：

1. 大数定理说明频率的极限是概率；中心极限定理说明不论总体服从何种分布，从中抽取n个样本，则这n个样本的总和或平均数是一个随机变量，当n足够大时，这n个样本的总和或平均数服从正态分布。假设检验的所有原理都依赖于中心极限定理。

2. AB测试中的假设检验都用双侧检验，这样比较容易记忆和处理，即原假设都设置为等号，即AB策略没有差异（当然，如果你愿意，你可以根据实际情况来设置单侧检验，这样求T值的时候注意）。

3. AB测试中的假设检验一般用Ttest，因为AB测试是一个标准的独立双样本检验；T检验既适用于大样本又适用于小样本，而Z检验只适用于大样本，所以一般情况下AB测试中的假设检验都用T检验（这也是为什么有些软件只给出T检验的相关模块）。T统计量/T值的计算方法，T=(avgX - avgY)/sqrt(X方差/n1 + Y方差/n2)，T值和p值之间可以互相转化，通过查表用T值其实可以直接进行结论判定了，但是一般情况下还是要转化为p值判断更方便(无论是Excel,SPSS,R还是python的T检验都是直接算出了p值)，Excel里面TDIST函数可以转化T值为p值。

4. P值的含义：假设检验首先要设一个原假设，在原假设的基础上我们构造/找到一个已知分布的统计量（T），我们可以计算出来在一次抽样结果下的这个已知分布的统计量的值（T值），P值的具体含义是当原假设为真时，一次试验中出现比T值更极端的情况的概率值，如果这个值比较小，那我们就认为在一次抽样试验中小概率事件发生了，也就会拒绝原假设；那这个概率多小算小呢，一般会设置一个显