AB Test实验设计

1. 版本设计

实验版本的设计要遵循变量的单一性，不能一下子改变多个因素，如同一个按钮不能同时改变按钮颜色和按钮文字，实验设计越简单越容易得出正确的结论。

案例时间：

2. 实验时长

业界的实验时长一般是2-3周，最短时长建议不要少于7天。因为不同日期活跃的用户群体可能不一样，所以最好要覆盖一个周期，如7天、14天、21天。

那实验时长是不是越长越好呢，也不是的，实验时间过长会把各版本的区别拉平了，不同时期用户对不同策略的反应不一样。

例如0元夺宝玩法刚出来的时候用户会特别感兴趣，时间久了大家都知道这是一个套路会慢慢免疫选择性忽略掉，在玩法诞生之初进行实验可能效果会很显著，时间长了之后这玩法的效果就会慢慢下降。

实验结果也是有时效性的，仅对当前时间当前用户群有效果并不是放之四海而皆准，所以实验时间不宜过长，应快速验证快速迭代。

3. 选择指标

一个改动影响的指标可能是多方面的，例如更改了加购物车按钮的颜色，点击该按钮的人可能会增多，从而间接导致下单的人数增多。那如何从众多指标当中选择出实验效果指标呢？

既然直接效果指标已经可以决定实验的成败，为什么还要添加其他间接指标呢，这就涉及到一个取舍问题了，不是实验成功了就一定要上线最佳版本。

假如实验版本确实有提升，但付出的成本有点大，那就要权衡下利弊再决定要不要上线新版本。又或者实验版本对我们想要提升的指标有显著效果，但影响到了其他指标的大幅下降，这时候也需要我们进行权衡。

具体可视当前产品北极星指标而定，如当前产品战略目标为营收，该实验虽对用户活跃有影响但能提高营收，也是可以全量上线新版本的，但当前战略目标为有效日活，那就要慎重考虑新版本的上线问题了。

4. 案例时间

基于前面的例子，影响最为直接的指标为点击付费弹窗支付按钮人数，但是这个跟各实验组具体人数也有关系，所以应该转化为比率。

分母应该是点击表情按钮人数而不是展示付费引导弹窗人数，因为两个版本的展示付费引导弹窗触发条件不一样，方案B已经人为的过滤掉一批低质量用户，必然会对展示点击率产生影响。

<