AB Test & AA Test

关在耳朵里的鱼和梦境

已于 2022-04-02 11:13:39 修改

阅读量3.2k

点赞数

CC 4.0 BY-SA版权

分类专栏： learning note 文章标签：大数据

于 2021-03-04 22:21:37 首次发布

本文链接：https://blog.youkuaiyun.com/the_why_cafe/article/details/114339724

本文详细介绍了AB Test和AA Test的概念与实践。AB Test是通过设计两种不同执行方案对比效果，关注变量关联和对象独立性。AA Test用于评估采样差异，包括计算原始指标差值、T.Test显著性检验及趋势曲线拟合。文中还讨论了时间序列数据的自相关性对测试结果的影响以及样本独立性和正态性的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

AA Test: 在进行AB Test之前，对AB Test的sampling进行测试，分析两个group之间存在的本源性差异。
AB Test: 为同一款产品设计两个不同的执行方案进行投放测试。方案中控制一个变量不相同，对照结果择优。

一、AB Test

1. AB Test sampling

常见的sampling维度： Geo/ Time Splice/ Random/Pre-Post
1\ Geo: 将raw data根据地理位置划分，要求数据中含有如城市、地区、州等相关的metrics。例如将美国分为东西南北四大区域，每个区域包含州和地区（以地区为最小Geo单位），在四大区域中任意抽取地区放入group1，在达到一定条件之后停止抽取，再开始抽取地区放入group2，以此类推。
tips：停止条件可以设为重要metrics的占比，重要metrics的上下限等等。
需要注意每个区域中选取的地区应相对均衡，避免出现聚类偏差。
需要更多data进行overtime validation，并且需要在主要metrics invalid之后重新sampling。
2\ Time Splice: 以一个小时或两个小时为时间窗，对campaign进行不同的treatment操作，比如urn on和turn off，on为group1， off为group2，或者launch不同的target spend，大的spend为group1，小的spend为group2等等。
tips: Feeds相关和跟epn vendor相关一般不建议做time splice。
3\ Random