关于AB实验样本累积的记录

在进行AB测试时,一旦达到预设的最小样本量,即使P值未达显著性,也不能增加样本天数以改变结论。需遵循预定计划,以控制犯错概率。

当达到最小样本量的时候,我们能否再积累两天样本,使得P值发生改变,然后选择改变后的P值作为我们的结论?

不能!

背景:在做AB实验的时候我们根据MDE计算出了最小样本量,根据最小样本量我们规划了一个7天的实验,但是7天后我们评估发现p-value>0.05,这个时候我们能否再积累两天样本使得p-value<0.05的时候再做结论?
不能,我们是“在保证犯第一类错误的概率<0.05的前提下,尽量的使得power越大越好”,虽然继续积累样本量可以保证power越来越大,但是我们就没办法保证我们犯第一类错误的概率了。

总之,必须按照规划的最小样本量来,当时间到了我们最好就下结论。

### 影响因素 - **显著性水平(α)**:也称为第一类错误率,是指在原假设为真的情况下拒绝原假设的概率。常见的显著性水平为0.05,即有5%的概率会错误地拒绝原假设。显著性水平越低,所需的最小样本量越大[^1]。 - **统计功效(1 - β)**:β为第二类错误率,是指在原假设为假的情况下接受原假设的概率。统计功效反映了实验能够检测到真实差异的能力,常见的统计功效要求为0.8或0.9。统计功效越高,所需的最小样本量越大[^1]。 - **效应量**:表示A组和B组之间差异的大小。效应量越大,说明两组之间的差异越明显,所需的最小样本量就越小。效应量的计算方法因实验指标的不同而有所差异,例如对于均值差异,可以使用Cohen's d来衡量[^1]。 - **方差**:数据的离散程度。方差越大,说明数据越分散,为了准确检测出两组之间的差异,就需要更大的样本量。 ### 计算方法 - **均值差异检验**:当实验指标为均值时,可使用以下公式计算最小样本量: $$n = \frac{(Z_{1 - \frac{\alpha}{2}}+Z_{1 - \beta})^2\times2\sigma^2}{\delta^2}$$ 其中,$n$为每组所需的样本量,$Z_{1 - \frac{\alpha}{2}}$是对应显著性水平$\alpha$的双侧Z值,$Z_{1 - \beta}$是对应统计功效$1 - \beta$的Z值,$\sigma^2$是总体方差,$\delta$是预期的效应量(两组均值之差)。 - **比例差异检验**:当实验指标为比例时,计算公式为: $$n=\frac{(Z_{1 - \frac{\alpha}{2}}\sqrt{2p(1 - p)}+Z_{1 - \beta}\sqrt{p_1(1 - p_1)+p_2(1 - p_2)})^2}{(p_1 - p_2)^2}$$ 这里,$p_1$和$p_2$分别是A组和B组的预期比例,$p=\frac{p_1 + p_2}{2}$。 在Python中,可以使用`statsmodels`库来计算最小样本量,以下是一个简单的示例代码: ```python import statsmodels.stats.api as sms # 设定参数 alpha = 0.05 power = 0.8 effect_size = 0.2 # 计算最小样本量 sample_size = sms.NormalIndPower().solve_power(effect_size=effect_size, power=power, alpha=alpha) print(f"每组所需的最小样本量: {sample_size}") ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值