AB test

AB test 的介绍：AB test又称为分组隔离实验，是可以对产品页面的不同设计进行科学实验的方法。例如一个产品页面，有两个不同颜色的按钮，可以通过AB测试两个不同颜色的按钮的点击次数是否存在显著的差异。

AB test 的原理：假设检验。
检验我们提出的假设是否正确，分为实验组和对照组。
原假设：实验组和对照组没有显著差异
备择假设：实验组和对照组存在显著差异

AB test 的流程：
选取指标——建立假设——选取实验单位——计算样本量——流量分割——实验周期计算——线上验证——数据验证

1、选取指标：指标一般分为绝对值类指标和相对值类指标
绝对值类指标就是平常直接计算就能得到的，比如DAU，点击次数等。一般都是统计该指标在一段时间内的均值或者汇总值，不存在两个值之间还要相互计算。
相对值类指标与绝对值类指标相反，不能直接计算得到。比如某页面的CTR，是用 页面点击数 / 页面展现数，要计算点击数和展现数，两者相除才能得到该指标。类似的，还有XX转化率，XX点击率，XX购买率一类的。做的AB实验，大部分情况下都想提高这类指标。
2、建立假设，上文有提到，原假设和备择假设
3、选取实验单位：一般使用用户粒度来作为实验单位，但是总体说来，实验单位一般有3种
1）用户粒度：这个是最推荐的，即以一个用户的唯一标识来作为实验样本。好处是符合AB测试的分桶单位唯一性，不会造成一个实验单位处于两个分桶，造成的数据不置信。
2）设备粒度：以一个设备标识为实验单位。相比用户粒度，如果一个用户有两个手机，那么也可能出现一个用户在