A/B Test如何做

案例背景：某电商公司非常注重自己的落地页设计，希望通过改进设计来提高转化率。以往该公司全年转化率平均在13%左右，现在希望设计的新页面能够带来更高的转化率，希望新页面的转化率能有2%的提升，达到15%。在正式推出新页面之前，该公司希望通过AB测试在小范围的用户中进行测试，以确保新页面的效果能够达到预期目标。

1.基本流程

Step1 确定实验目标及衡量指标

实验目标：

通过AB测试确定新落地页是否可以提升2%的转化率

衡量指标：

页面转化率

Step2 设计实验方案

设计实验的具体方案，包括：实验变量（即页面的具体改动点）、实验时间、实验样本量、划分实验组和对照组等。还需要确定实验数据的收集方法和分析方式。
具体设计流程如下：
①提出假设：实验的第一步通常是提出假设。假设是对于某个特定变化我们所期望的结果，也是后续实验的基础，我们需要在后续实验中通过数据验证这个假设是否成立。
如果验证成立，我们可以将这个变化推广到全部用户。如果验证不成立，则需要继续优化这个假设或者放弃这个修改方案，以寻找更好的变化。
假设分为原假设和备择假设
想支持的结论通常放在备择假设上
在这个实验中，我们希望新页面可以提升2%的转化率，原则上我们应选择单尾检验，准确的说，应该选择右侧单尾检验，因为我们的假设是新页面的转化率要大于旧页面的转化率。
但是，在本案例中，我们并不能确定新页面的性能一定比当前的页面更好。所以，这里选择双尾检验。
原假设H0：$P=P0$
备择假设H1：$P\ne P0$


其中，$P0$ 代表的是旧版落地页的转化率，$P$ 代表的是新版落地页的转化率。
②确定实验分组：
在此次AB测试中，我们分为实验组和对照组两组：

• 对照组