Step1 制定关注指标
【方法】围绕业务制定实验中的核心关注指标(Driver Metrics),同时定义护栏指标(Guardrail Metrics)
【说明】护栏指标的存在,是为了防止我们的策略发生“捡芝麻掉西瓜”的情况。当护栏指标显著负向的时候,就算核心关注指标显著正向,我们依然不建议推全实验
Step2 计算最小样本量
【方法】围绕关注指标,用其历史数据计算最小样本量
【说明】实验样本大于最小样本量的前提下,检验才有足够的“力量”检验到显著效果。最小样本量分析的英文名为:power analysis
均值指标 | 率值指标 | |
指标计算公式 | ![]() |
![]() |
计算器地址 |