前言
最近学到了一个新词:A/B测试,我一度以为是测试代码的一种实验方法,但去了解了一下发现不是这么回事,网上很多资料,我就总结一下。
什么是A/B测试
背景
随着移动互联网流量红利、人口红利的逐渐衰退,越来越多的产品运营开始关注数据驱动的精细化运营方法,什么意思?以前靠广告、做活动砸钱,10万元就可以轻松让你的APP有100万用户量,再花10万元又可以拉到100万新用户,只要砸钱,你的APP用户就多,就越来越多人注册你的APP,但是现在不行了,现在10万元只能拉1000个新用户,随着时间推移,10万元可能只能拉取100个新用户,企业可能在这100个人身上都挣不回这10万元,亏本买卖,不行,得换思路,企业期望通过精细化运营在一片红海中继续获得确定的用户增长,而A/B测试就是一种有效的精细化运营手段。
A/B测试
- 目标:拉取新人,越多新用户越好
- 方法:A方法针对某一个城市去推广,B方案去另一个城市推广,
- 校验结果:统计并对比不同方案的转化率、点击量、留存率等指标,以判断不同方案的优劣并进行决策,从而提升转化率。
举个例子:
同时做两个页面:A页面、B页面,目的都是一样的,可能风格不一样,页面游戏不一样,假设企业有100万用户,我把100万用户分成两份,其中50万访问A页面,另50万用户访问B页面,我来了解有多少用户点击了页面,最后可能会有这样的结果:20个用户点击了A页面,10万个用户点击了B页面。结论:B页面吸引了更多的用户。
什么时候用A/B测试
在产品迭代的时候都要弄两套方案去测试,说实话,产品头痛,开发更头痛,两套方案,不同的用户看到的东西不一样,你以为很简单呀,所以千万不要以为什么更新都搞一套A/B测试,记住重大决策的时候,对方向摇摆不定,并且这次改动可能会重大影响这个产品方向的时候,我们可以来尝试这一套A/B测试方案。
A/B测试流程
这个流程大家可以看下参考博客,讲的比较详细,我就总结一下:
- 确立优化目标
- 分析数据,分析历史数据,找到产品的优化点
- 提出想法,确定优化方案,多个方案,可以多个方案同时测
- 实施A/B测试并分析实验结果
- 迭代整个流程,进行下一轮A/B测试
公司规模大,可以自己建立一套A/B测试,或者第三方工具:Testin云测、Saas创业公司等等,
某博客上有这么一句话,大部分产品方案都是无效的,产品想法多,但是可行性不高,或许这是一个契机:从以前经验来提出方案实施要改为通过大数据分析、测试来验证方案并实施。
参考博客中有一些详细的案例,大家也可以看下。
A/B测试难点
你是否知道你方案的所有测试点,所有不同点、差异,产品方案都是针对用户来说的,用户的差异就更大了,不同文化、生活背景、心理等等都会产品有影响,你如何来充分证明A/B测试有效?
一片博客讲解的更为细致:为什么大多数的 A/B 测试都不靠谱?