【机器学习的一些问题】模型评估之A/B测试

进行在线A/B测试的原因：

• 离线模型不能消除过拟合问题。离线评估结果无法完全代替线上评估结果。
• 离线评估不能还原线上工作环境。比如环境延迟、数据丢失、标签缺失等等。
• 线上系统的商业指标在离线评估中无法计算。线上评估可以全面了解到用户点击率、留存时长等数据的变化。

如何进行在线A/B测试：

用户随机分桶，实验组-新模型，对照组-旧模型，要保证样本的独立性和采样的无偏性。

如何分桶：

避免散列、稀疏、有偏。