AB Test & AA Test

---

前言

AA Test: 在进行AB Test之前，对AB Test的sampling进行测试，分析两个group之间存在的本源性差异。
AB Test: 为同一款产品设计两个不同的执行方案进行投放测试。方案中控制一个变量不相同，对照结果择优。

---

一、AB Test

1. AB Test sampling

常见的sampling维度： Geo/ Time Splice/ Random/Pre-Post
1\ Geo: 将raw data根据地理位置划分，要求数据中含有如城市、地区、州等相关的metrics。例如将美国分为东西南北四大区域，每个区域包含州和地区（以地区为最小Geo单位），在四大区域中任意抽取地区放入group1，在达到一定条件之后停止抽取，再开始抽取地区放入group2，以此类推。
tips：停止条件可以设为重要metrics的占比，重要metrics的上下限等等。
需要注意每个区域中选取的地区应相对均衡，避免出现聚类偏差。
需要更多data进行overtime validation，并且需要在主要metrics invalid之后重新sampling。
2\ Time Splice: 以一个小时或两个小时为时间窗，对campaign进行不同的treatment操作，比如urn on和turn off，on为group1， off为group2，或者launch不同的target spend，大的spend为group1，小的spend为group2等等。
tips: Feeds相关和跟epn vendor相关一般不建议做time splice。
3\ Random: randoml