测试方案_何小伟：ABTest测试方案

一.什么是ABTest测试

ABTest的目的和意图是判断哪种种UI或rerank策略更优，通过事实的依据( CTR或下单率/成交量.....)判断哪种策略更符合用户的习惯和需求，多用于产品发布时的最优策略。所谓(A/BTesting)测试，简单来说，就是为同一个目标制定两个方案(比如两个页面)，让一部分用户使用A方案，另一部分用户使用B 方案，记录下用户的使用情况，看哪个方案更符合设计目标。

二.AB测试的周期？

试验的周期一般是7天，覆盖周末和周中的用户行为。对于复杂一些的测试，可以跑2周甚至1个月。还有一个办法，就是看试验结果的置信区间的收敛速度，如果置信区间达到3%-5%已经可以决策了，就可以停止试验了。正常情况下，我们需要大流量试验来验证大型新功能，比如新推荐算法，新学习模型，新聊天功能。然后我们可以同时用流量分层的方法做很多很多小试验，比如改UI改文案，看看有什么改变能带来用户转化的提升。同时跑10个以上的试验很正常，这种并行决策实际上大幅度提高了产品优化效率，而不会延缓迭代。

三.总结

合理运用灰度发布和A/B测试，对于测试来讲，是必须要掌握的核心技能之一，我们每天都在研究、体验、设计产品，有时会想当然的觉得这个流程不复杂，这个操作很简单，用户应该上来就会用，不知不觉间就把我们思维强加给了用户。细节决定成败早已不是空谈，对于任何可能影响到用户体验的地方，都应该防患于未然。

上一篇：Android常见安全漏洞汇总

下一篇：测试面试常问的问题