文章探讨了在算法效果AB测试中，按PV或UV划分流量和计算CTR时可能出现的问题。通过两种场景分析，指出按PV划分流量并按UV计算CTR会导致测量误差，大桶或小桶的测试指标会受到影响。按UV划分流量并按相应方式计算CTR则相对合理。
算法效果的AB测试，是指在相同的应用场景下，对比不同算法的效果。通常的做法是，按照PV或UV随机分配流量到算法上，计算算法的CTR或转化率进行对比。为了表述简单，我们假设参与对比的算法有两个，比较的指标是CTR。这里面的关键细节有两个：1. 如何划分浏览？2. 如何计算CTR。下面从这两个角度讨论可能出现的问题。
定义1：按PV划分流量，是指对任意一个访问，按照预先设定的比例，随机分配到一个算法中。需要注意的是，在这种情况下，每个用户会被随机分配到一个算法中。<
订阅专栏 解锁全文
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
