AB实验知识备份

目录

一、AB实验介绍

1.1 什么是AB实验

1.2 为什么进行AB实验 

1.3 如何进行AB实验

二、AB实验架构

2.1 流量分配管理

2.2 埋点设计开发

2.3 数据收集处理

2.4 实验效果评估

三、AB实验流程

四、统计分析原理在ABTest中的应用

4.1 统计分布

4.2 置信区间

4.3 假设检验

五、总结

5.1 小结

5.2 探讨

---

一、AB实验介绍

1.1 什么是AB实验

    AB实验（也被称为AB测试、AB分桶、ABTest等）是为APP等产品的界面、流程、功能、算法等制作两个（A/B）或多个（A/B/n）版本，在同一时间维度，分别让组成成分相同或相似的用户随机访问这些版本，收集各组用户的行为数据，最后分析评估出最好版本，正式采用。

    AB实验最核心的思想是： 多个方案并行测试； 每个方案只有一个变量不同； 以某种规则优胜劣汰。 

1.2 为什么进行AB实验 

    通过实验的方式优化产品，提升核心指标，进而撬动留存、扩大用户群体、增加收入等。

进行AB实验的好处：

• 量化效果，科学对比，根据实际效果确定最佳方案。
• 降低新产品或新功能的发布风险，效果不理想可在少量用户中持续迭代，直至可全量发布或创新失败。

1.3 如何进行AB实验

a) 保证足够的样本量 

        采用足够的样本量以保障用户行为具有代表性。 

根据大数定律，如果统计数据足够大，那么事物出现的频率就能无限接近他的期望。

b) 选择无偏差的样本

        在要观测的指标上，用户应均匀分布，选择无偏差的样本以保障实验用户特征符合全量用户特征分布。

根据中心极限定理，样本平均值约等于总体平均值，任意一个总体的样本平均值都会围绕在总体平均值周围，并呈正态分布。

c) 遵循互斥正交原则合理分域分层分桶

        互斥：两个或多个实验内容相互影响时，根据互斥性将流量拆分为不重叠的分组进行实验。 

        正交：两个或多个实验内容不会相互影响时，根据正交性挑选均匀分散的流量进行实验。每个实验都会将用户重新随机打散。

         分域分层分桶：

• 域1+域2=100%流量，互斥关系
• B1层=B2层=B3层=域2流量，正交关系
• (B2-1)+(B2-2)+(B2-3)=B2层流量，互斥关系

二、AB实验架构

    AB实验架构分为流量分配管理、埋点设计开发、数据收集处理、实验效果评估4个部分。

2.1 流量分配管理

    流量分配环节将分域分层分桶逻辑代码落地，一般由算法或架构团队开发分流算法并产品化为实验管理后台。

        分流算法常采用hash或hash的变种，对（实验id+设备id）对进行打包分桶。加入实验id目的是确保不同实验正交化。

        实验管理后台实现实验创建、平台选择、人群圈选（新老，特定属性圈层，城市，版本，从属策略等）、流量划分、白名单等功能。

2.2 埋点设计开发

    埋点环节通常由数据产品或数据分析设计，前端同学开发上报（有时涉及后端开发），测试同学验证，数据同学灰度验收。

    埋点传送门：