了解你做的A/B测试吗？

有放回？无放回？

从总体中随机抽取一个容量为n的样本，当样本容量 n足够大(通常要求n ≥30)时，无论总体是否符合正态分布，样本均值都会趋于正态分布。期望和总体相同，方差为总体的1/n。这即是中心极限定理，是A/B测试数据分析的基础。

然而抽样分为有放回和无放回两种。样本均值的方差是总体方差的1/n（n为样本容量），这个结论是针对有放回抽样的。实际试验中，大部分是无放回的，这样流程比较简单。无放回抽样，样本均值方差见下。观察公式可知道，当总体容量比样本容量大很多倍时，样本均值的方差可以近似为总体方差的1/n。

配对样本？独立样本？

当两个样本的获取存在关联时，称为配对样本。例如比较人早晚身高变化，如果早上身高的样本包含了张三，则晚上身高的样本也要包含张三。

某些情况下配对样本比较难实现，比如药物双盲试验，患者不能既服用安慰剂又服用药物。这时只能使用独立样本，随机分配个体进入两个样本，认为2个样本的个体统计上不存在差别。同时患者不知道自己服用的是安慰剂还是药物，消除心理作用的影响。

互联网产品的A/B测试和新药试验类似，理论上说应该让同一组用户同时看到多个版本进行比较，或者是看完一个版本后用时间机器倒回去再看另一个版本。显然无法做到，只能选取试验用户时足够的随机，让两组用户从统计意义上相同，认为偏差都是产品版本造成的。