一系列AB实验针对CVR和CTR进行了特征优化，包括类目重构、新增点击率特征、容量特征等。实验关注AUC变化，影响因素包括归因周期、pop商品、采样率。部分实验导致订单正向增长，但AUC不足，未全量上线。
| AB实验部署时间 | 详情 | AUC对比 | 状态 | 备注 |
|---|---|---|---|---|
| 2021-12-03 | 【找靓机主搜cvr特征优化实验】 实验名：Default.rankctr.rankcvr1203 上线人：子豪
改动点：删除容量相关的所有组特征 | 线上 exp auc=0.667300 | 已下线 | 模型详情文档：006【[cvr1203]20211203类目重构项目】 |
| 2021-12-17 | 【CVR20211217类目重构】
实验正向明显，但是因为AUC较低，所以没有进行全量
| 离线 exp auc=0.70675 离线 base auc=0.68279 | 已下线 | 实验订单正向很明显，但是AUC偏低，所以没有上线，进行线下实验打磨 |
| 2021-12-17 | 【CTR类目重构】 重上容量特征&新增类目点击率特征
| 线上base auc=0.58818 , 线上exp auc=0.653824 离线exp auc=0.6794 离线base auc=0.6542 | 全量 | |
| 2022-01-10 |
| 离线base auc=0.6937535 离线exp auc=0.7154 | 已下线 |
|
| 2022-01-17 | 【CVR0117 线上特征缺失问题】 找靓机CVR重上容量特征&新增类目点击率特征，解决cvr0110版本线上特征缺失问题
|
| 已下线 | 【找靓机】CVR新增容量相关特征和类目点击率特征】 |
| 2022-02-07 | 【CTR新增Query特征】
| 离线 base auc=0.67159414 离线 exp auc=0.6835 线上 base auc=0.661266326 线上 exp auc=0.676718027 | 已下线 | 虽然订单不能持续的正向，但是线上auc始终是正向的。 |
| 2022-02-21 | 【找靓机】CVR类目重构验证POP商品加入的影响
| 离线 exp auc = 0.7879 | 已下线 | |
| 2022-03-08 | 【CTR 新增query特征实验】
| 离线 exp auc=0.7043 离线 base auc=0.6874 线上 exp auc=0.6731829768 线上 base auc=0.6508156071 | 全量 | |
| 2022-03-16 | 【CTR模型新增卖家效率特征】
sellerCtrpv, sellerOprpv, sellerOpruv
| 离线base auc=0.7053 离线exp auc=0.7055 线上base auc=0.673811 线上 exp auc=0.671448 | 下线 | |
| 2022-03-16 | 【找靓机CVR模型类目重构】
| 离线base auc=0.6667744 离线exp AUC = 0.70024294 线上base pay auc=0.626638 线上 exp pay auc=0.650780 线上base order auc=0.488246 线上exp order auc=0.524228 | 全量全量时间：2022-03-23 | |
| 2022-03-xxx | 【找靓机CVR新增query特征】
| 离线base auc=0.71540296 离线exp AUC = 0.7168716(+0.2%) 线上base coopr_pay_auc=0.637 线上 exp coopr_pay_auc= 0.667 线上base coopr_order_auc=0.5275 线上 exp coopr_order_auc=0.5639 ------------- CVR 23号 ： base_auc = 0.6430047, exp_auc = 0.683887 平均：base = 0.637014975, exp = 0.667041 | 全量 | |
| 【找靓机CVR特征拆分为cor/opr特征】
| 离线AUC：click_pay_auc=0.7195(+0.0215) | |||
| 【找靓机CTR引入优品价格特征】
|
| |||
| 【找靓机CTR引入优品价格特征】 再次实验
| exp auc=0.6726(+0.0007), base auc=0.6719 | |||
| 【找靓机CTR引入新构造SKU特征】
| ||||
扫一扫
788
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
