本文分析了A/B测试中赢家诅咒现象，即多个实验单独运行效果优于合并后的效果。赢家诅咒源于选择偏差，文章通过例子和公式证明了这一现象，并指出即使在真实效果为正的情况下，测量的总体效果也会被高估。解决方案包括了解并沟通选择过程，设定明确的实验假设和调整偏差方法，强调不应过度依赖p值，应注重统计严谨和实际业务结合。
原文标题：Selection Bias in Online Experimentation
Thinking through a method for the Winner’s Curse in A/B testing；
原文地址：https://medium.com/airbnb-engineering/selection-bias-in-online-experimentation-c3d67795cceb
作者：Milan Shen
总结：（以后都把总结写在前面）
- 本文先笼统分析为什么几个ab test实验提升效果不如分开时候提升效果之和，然后对于假设选择的偏差进行分析，发现我们很大假设空间选择几个好的肯定会有偏差的，但是在实际工作中要记得把这部分调整消除掉（作者只讲了how to count and remove,没有讲怎么进行实验来消除）
- 不要迷信p值，注意积累
- 统计不行，有些基本的素养都不够；刷完题要多看书多上课呀呀
- 公式证明那一段没给更多说明，觉得有点混沌
- 本文很好，要多看几遍，争取在面试中能够说出来。
1. 问题提出：
几个成功的实验一起apply之后，效果并不是各个效果提升数字之和（7.2%），相反，常常是小于这个和(4%)。澄清：实验的进行不是同时的，而是一个接着一个的。
可能原因：
- 方差：每个实验数字都有方差，所以减小也在情理之中
- 季节因素：业务有季节影响，因而不能单单看这两个数字，其实他们来自不同的时间跨度
- 短期影响和长期影响：和上面一个类似，实验有不同时间跨度，有的刚刚进行的时候效果比较好但是可能时间长了之后效果就减弱了
- 实验对象有交集：这个比较麻烦，我上的ab test课程上面有。 Even if the estimate in each experiment is unbiased, the effect itself can be different when the sample sizes are at different ratios because of the potential interaction
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
