实验田AAtest

在广告实验田AA测试时（实验组VS对照组），如果主要对比click相关指标（CTR、PPC）时，需要注意pv量是否足够大的问题。

假设在实验组与对照组中，竞得的pv大约为各自50万的量级，那么这100w的pv在实验组与对照组之间的分布会非常接近50wVS50w；

但若按照千分之一的点击率估算，这100w会带来1000click，1000click的分布考虑投掷硬币的二项分布F(k,n,p)，k=500,n=1000,p=0.5为可能性最大的分布；

但分布为475vs525以及更偏分布的概率大约为12%，这种偶然的自然波动导致实验组vs对照组的ctr差异，不容忽视。