博客相关推荐在线排序学习实践

现有固定槽位的填充召回策略在相关线上推荐服务中缺乏有效的相关性排序，存在较硬的排列顺序，各个策略之间互相影响，导致线上基于规则的拓扑图比较复杂，因此设计在线推理服务，通过学习用户行为完成在线排序。

1. 博客相关推荐现状

博客相关推荐现在基于固定槽位填充的方式。

1.1 召回现状

1.1.1 基于曝光搜索词召回

1. 统计时间窗内搜索词pv数据，过滤无效搜索请求，通过衰减系数约束历史pv计算综合得分更新到 全量搜索词表中；
2. 按照搜索词分组，根据分数倒排得到 query to blog_id 列表；
3. 按照 blog_id分组，根据分数倒排得到 blog_id to query 列表；
4. 步骤2和步骤3结果关联，计算 id_score * id_score 取top25用于召回；

1.1.2 基于点击行为召回

    根据已经曝光的博客计算平滑后的ctr，根据ctr结果进行倒排；

1.1.3 基于专栏召回

    在博客归属的专栏中根据文章阅读数进行排序，给出推荐其专栏内其他文章；

1.1.4 基于opensearch召回

    调用opensearch服务 召回搜索数据

1.1.5 其他召回

• 召回博客/下载同标签下的数据

1.2 过滤

• 相关推荐的去重过滤
• 下载和学院课程资源的图片非法值过滤策略

1.3 组合

• 先插入5条点击召回资源，再插入5条曝光搜索词召回资源 ，再插入5条opensearch召回资源。
• 当召回不足的情况下增加兜底的热数据 / 或者用于代替热数据的同标签下或同专栏下内容数据
• 相关推荐内容中按照槽位增加插入原力计划云原生的内容

2 在线推理框架设计

2.1 在线推理时序图

3. 上线遇到的问题

3.1 在线推理耗时较长，增加redis缓存

    小流量实验上线后经过特征服务和模型服务处理，相关推荐总耗时会增加约200ms，分析发现，特征服务异步调用blog特征、下载特征、媒资特征以及landing特征的耗时较长，所以将获取到的特征数据进行缓存；

3.2 增加异步处理逻辑，获取多源特征

    特征服务异步调用blog特征、下载特征、媒资特征以及landing特征的耗时不一致，通过异步处理减少串行处理的时间；

3.3 缓存必要的特征数据，提高有效缓存个数

    线上缓存数据库监控发现，资源占用较高，导致redis key 逐出率过高，通过缓存必要的特征数据，提高缓存利用率；

3.4 tf-serving服务中，拆开embedding逻辑到特征服务

     模型排序依赖文本信息的embedding处理，且耗时较多，因此将向量化模块做成独立服务在特征服务模块异步调用，充分利用等待时间；

3.5 优化处理流程图

    现在执行流程图中执行逻辑是先执行完第一层所有的节点，才能执行第二层节点，媒资和query特征所需时间较短，需要等待耗时最长的blog特征，并且媒资中的title和landing的query 信息需要embedding 操作，就导致时间利用不充分。通过图嵌套模式将多个子任务封装到一个大任务中，实现

如下图所示，右侧优化后能充分利用等待获取blog特征的间隙，节约出embedding的耗时： 

4. 模型效果

4.1 模型重排实验离线结论：

• 标注团队标注了789个case的理想序
  query_pair总数:7643
  base(线上): 正序对数:4258, 逆序对数:3385, pnr: 1.2579；ndcg: 0.8249
  model(重排): 正序对数:4584, 逆序对数:3059, pnr: 1.4985; ndcg: 0.89227
  模型重排正序对增加 326对
• 自评 GSB=6: 5: 2
  标注团队 GSB=40:50:10

4.2 胜出率情况：

第三条的胜出率最高 57.5%、Top5胜出率65%；

位置	G	S	B	胜出率
第1条	13	82	5	54.0%
第2条	16	76	8	54.0%
第3条	15	85	0	57.5%
第4条	13	85	2	55.5%
第5条	14	81	5	54.5%
Top5整体	40	50	10	65.0%

注：胜出率=（G+S/2）/（G+S+B）

4.3 Goodcase：

case1

原文title：常见mimeType大全

备注：左1，左2相关性差，右版明显胜出

位置	线上base		排序模型
首条	weblogic安装部署以及常见问题解决	不相关	常见文件对应的MIMEType类型
第2条	MIME 文件集列表	弱相关	史上最全的mime-type大全
第3条	常用文件的mime和mimetype.txt		MIME Type介绍
第4条	Android MIME类型		mime type类型详解
第5条	MimeType对照表		MIME type 类型大全

case2

原文title：程序运行报错：A JavaScript error occurred in the main process

备注：左1不相关，右版明显胜出

位置	线上base		排序模型
首条	An internal error occurred during: java.lang.NullPointerExcepti...	不相关	代码编译/程序运行报错：A JavaScript error occurred in the main process
第2条	打开电脑出现错误A JavaScript error occurred in the main process解决方法		打开电脑出现错误A JavaScript error occurred in the main process解决方法
第3条	如何解决一些日常的电脑弹窗故障（ Error A JavaScript error occurred in the main process）		A JavaScript error occured in the main process
第4条	代码编译/程序运行报错：A JavaScript error occurred in the main process		MongoDBCompassCommunity启动的时候出现a javascript error occurred in the main process
第5条	A JavaScript error occured in the main process		关于安装Fiddler出现 A JavaScript error occurred in the main process 问题解决

4.4 Badcase：

case1

原文title：Modelsim 安装步骤详解

备注：右1，右2弱相关，没有“安装”，左3不相关，右版落败

位置	线上base		排序模型
首条	Quartus II和Modelsim安装破解步骤		ModelSim仿真实例教程	弱相关
第2条	quartus II modelsim 破解安装教程		ModelSim的使用详解	弱相关
第3条	计算机网络（谢希仁-第八版）第五章习题全解	不相关	Modelsim的安装教程
第4条	modelsim安装步骤		安装ModelSim的详细步骤：
第5条	ModelSim SE 10.4安装破解教程		入门数字集成电路设计系列（一）——Modelsim安装及破解过程记录

4.5 模型选择

第一版模型选择树模型，有助于我们分析现有特征的重要度，以及模型效果分析时帮助我们问题溯源。

树结构的可视化：

5. 附录 

性能

模型部署环境：docker 1C2G

测试环境：2C8G

测试工具：jemeter

线程数	循环次数	参数列表个数	样本个数	平均值	中位数	90%	95%	99%	最小值	最大值	失败	吞吐量	接收KB/sec	发送KB/sec
100	100	10	10000	36	34	54	71	123	4	240	0	542.95	152.70	672.85
100	100	50	10000	154	115	289	338	985	4	2495	0	273.94	230.60	1459.33
100	10	10	1000	46	32	102	128	146	5	226	0	377.79	104.41	466.33
100	10	50	1000	54	43	119	170	184	5	193	0	374.25	315.41	1989.31
50	20	10	1000	35	25	75	82	124	5	165	0	342.23	95.25	422.44
50	20	50	1000	32	23	62	90	114	5	125	0	363.50	309.19	1930.41

               

模型部署环境：16C128G

线程数	循环次数	参数列表个数	样本个数	平均值	中位数	90%	95%	99%	最小值	最大值	失败	吞吐量	接收KB/sec	发送KB/sec
100	100	在线推理-POST请求-50	1000	110	84	224	249	368	7	379	0	259.6053998	218.7885352	1380.16777
100	100	在线推理-POST请求-10	1000	103	56	324	415	457	4	470	0	312.4023743	86.33776554	385.9267612
50	20	在线推理-POST请求-50	1000	59	30	163	193	399	3	399	0	308.8326127	260.2759226	1644.593982
50	20	在线推理-POST请求-10	1000	64	41	137	187	317	2	404	0	276.0905577	76.8416103	341.0689018

文章作者： 李永 & 卫亮亮 & 王品