ABTess之AA 测试

一、什么是A/A测试

A/A测试是用A/B测试的方法和工具来检验两个完全一样的版本。一般来说，它被用来检测试验平台或工具的结果是否是统计上的无差异。也被用来为A/B测试的变化做基线参考。

二、为什么A/A测试是重要的

• 有时在进行A/B测试之前，我们可能会进行一段时间的A/A测试，来观察两个一样的实验组对应指标的变化，把这个变化作为A/B测试的基线（或者理解为AB平台或工具的精确度）。如果A/B测试产生的变化和A/A测试产生的变化相比，结果非常接近，那么这个变化很可能是随机误差。
• 我们也会用A/A测试来确保A/B实验平台的有效性和准确性。比如在当前的样本量下，看分组是否均匀；实验平台或工具是否能认为两个分组在统计上无差异。

三、A/A测试的种类

• A/A – 50/50划分：
  最典型的A/A实验划分，优点是简单直接，缺点是会使实验时间延长，适合样本量不是非常大，但是时间相对充裕的情况。

• A/B/A - 1/3划分：
  融合A/B和A/A的实验划分，优点是充分利用实验时间，实验时间足够长往往能得到更准确的实验结论。缺点是把实验流量划分为了3个部分，如果样本量不够大，会是实验的功效降低。适合样本量足够大，但是时间相对较紧的情况。

• A/A/B/B – 25%划分：
  这种划分是在A/B/A的基础上又进行了一次划分，可以观测B组的变化差异。实际使用较少，虽然B组也有了B/B实验，但是实际上会使实验组划分过细，导致每个组的样本量都不够大。

四、A/A测试的问题

在实验时间紧张的情况下，A/A测试存在的问