因为样本太少,干扰太大,而且收集数据需要的时间太长,几乎得不出有用的结果。
不信,你可以测试一下。
这里给出一个用 iOS 测试的例子, App Store Connect 上已经有产品测试功能,没试过的可以试下。
这里测试一个 app logo 对下载量的影响,总共一个基准值,A、B、C 三个测试值。其中A值和基准值完全一样,按道理来说,A 应该没什么变化才对,但是显示的结果是A有16.9%的负面效果。
这也许是苹果的AB测试数据还不准,或者说收集的数据还不够多(14天的数据了),你觉得是哪个原因?
我觉得给我的启发是:基础没做好,不要整花活。产品没有量做AB测试没有意义。
产品没有量做AB测试没有意义
最新推荐文章于 2025-12-10 13:50:41 发布
本文探讨了在产品用户量不足的情况下进行AB测试的问题。由于样本量少、干扰因素多以及数据收集时间长,测试结果可能不准确。作者通过iOS App Store Connect的测试功能,展示了即使设计相同的A值也显示出16.9%的负面效果,质疑这是由于测试数据不足还是苹果系统的准确性问题。结论强调,基础用户量不足时,进行AB测试意义不大。
3047

被折叠的 条评论
为什么被折叠?



