分桶校准（Bucket Calibration）

分桶校准（Bucket Calibration）是一种用于处理A/B测试中实验组和对照组用户数量不均衡（样本量失衡）的统计技术，目的是确保实验结果的准确性和可靠性。

为什么需要“分桶校准”？—— 问题的由来

在理想的A/B测试中，我们希望用户被完全随机且均匀地分配到实验组（A桶）和对照组（B桶）。比如，50%的用户进入实验组，50%进入对照组。

但在现实中，由于技术bug、流量分配策略问题、用户属性差异等原因，可能会导致分桶不随机、不均匀。例如：

• 样本量失衡： 理论上应该50/50，但实际上变成了60/40。
• 用户构成差异： 虽然总量是50/50，但实验组里可能偶然分到了更多“高活跃用户”，而对照组里“沉默用户”更多。

这种不均衡会导致一个问题：你无法确定最终观察到的指标差异，到底是你的新功能（实验变量）带来的，还是仅仅因为两组用户本身就不一样？

“实验桶/对照桶叠加分桶校准” 这个指令的意思就是：现在实验组和对照组出现了这种不均衡，我们需要用一种叫“分桶校准”的方法来修正它，然后再对结果进行分析。

“分桶校准”是如何工作的？

它的核心思想是：给不同用户的观测结果赋予不同的权重（Weight），让加权后的样本结构恢复到理论上应该有的平衡状态。

通常分为以下几个步骤：

1. 识别问题：通过数据分析，发现实验组和对照组的用户数量或用户画像存在显著不平衡。例如，实验组有60万用户，对照组只有40万。

2. 建立校准模型：

   • 将用户按照某些分层特征（Stratification Variables） 进行分组。这些特征通常是与核心指标强相关的用户属性，例如：用户活跃度（高/中/低）、新老用户、地理位置、历史付费金额区间等。
   • 计算在理想随机状态下，每个分层小组中的用户应该被分配到实验组和对照组的比例（例如，每个小组都应该是50/50）。

3. 计算权重：

   • 对于实验组的用户：其权重 = (理想状态下该分组实验组人数) / (实际该分组实验组人数)
   • 对于对照组的用户：其权重 = (理想状态下该分组对照组人数) / (实际该分组对照组人数)

4. 加权分析：

   • 在计算最终指标（如人均时长、转化率、付费率等）时，不再简单地对所有用户求平均（总和 / 总人数）。
   • 而是使用加权平均：(用户1的指标值 * 用户1的权重 + 用户2的指标值 * 用户2的权重 + ... ) / 总权重