问题： 深度模型相比LR模型，离线auc高于基线，线上ctr也高于，但是线上深度模型AUC低于基线。 一般，线上样本存在bias，新模型去测试基线流量和实验流量，实验流量auc会高。 分析： 1 可能是auc失真，不同用户排序结果不可比 使用gauc衡量 2 用户auc分布 实验曝光未点击较多 分析2 去掉只曝光行为用户 结论：auc在高分段实验更有优势 3 浏览长度和双用户样本分布差异 ...