AB test的简单理解

AB实验的简单理解

AB实验的基本原理是控制变量法

AB实验的步骤

1. 提出假设、设计假设： 确保变量唯一，有很多我们永远无法知道的隐变量在施加影响，确保两个方案中其他的变量保持一致，特别是时间、用户特征等重要变量。
2. 预估成本、设定优先级： 通过ICE模型：Impact Level 重要度；Confidence 自信度； Ease 容易度。每项满分为十分，ICE总分为三项的平均分，ICE分值越高，对应的优先级也越高。
3. 设计方案： 提出多重方案，和其他部门沟通，最后选择一个到两个方案进行测试。
4. 确定实验人数和周期： 一般控制在2到3周
5. 安排开发和测试
6. 分析结果：

• 假设检验： H₀ AB方案无差别
  H_α AB方案有差别
  一般通过Z检验，p<0.05认为实验显著，AB有差异
• 排除额外因素导致的数据变动、确保关联数据也要有相应增长就是不同策略驱动下对结果导向是否真正提高。
• AA实验测试数据埋点、分流、实验统计的正确性

7. 扩大/ 全量上线/ 重新再来等；

存在的辛普森悖论

在某个条件下的两组数据，分别讨论时都会满足某种性质，可是一旦合并考虑，却可能导致相反的结论。

在AB实验中，人为意识的干预样本选择、测试的内容不是主要因素等。可能只是我们的试验组里圈中了一些爱购买的用户而已。必须合理的进行正确的流量分割，保证试验组和对照组里的用户特征是一致的，并且都具有代表性，可以代表总体用户特征。特殊属性：在流量试验越大时，辛普森悖论发生的条件越有可能触发，不同于大数定理以及中心极限定理等“常规”实践经验。