当达到最小样本量的时候,我们能否再积累两天样本,使得P值发生改变,然后选择改变后的P值作为我们的结论?
不能!
背景:在做AB实验的时候我们根据MDE计算出了最小样本量,根据最小样本量我们规划了一个7天的实验,但是7天后我们评估发现p-value>0.05,这个时候我们能否再积累两天样本使得p-value<0.05的时候再做结论?
不能,我们是“在保证犯第一类错误的概率<0.05的前提下,尽量的使得power越大越好”,虽然继续积累样本量可以保证power越来越大,但是我们就没办法保证我们犯第一类错误的概率了。
总之,必须按照规划的最小样本量来,当时间到了我们最好就下结论。

在进行AB测试时,一旦达到预设的最小样本量,即使P值未达显著性,也不能增加样本天数以改变结论。需遵循预定计划,以控制犯错概率。
989

被折叠的 条评论
为什么被折叠?



