深入理解搜索引擎——基于DPSR的个性化召回模型

DPSR是京东发表于SIGIR2020 的paper，是京东在搜索推荐系统领域的实践经验总结，京东自2019年起就开始部署DPSR搜索推荐系统框架，总体网络结构如下：

从整体看，离线模型是一个双塔模型结构，query 和 item 分别有一个 model tower。
Query 端：包括query tokens、user profile、user history events 等特征。
item端：包括title tokens、brand、category、shopid 等特征。
离线索引(offline indexing)：使用的是item tower，导出item的embedding 构建 QP 索引。
在线服务(online serving)：使用的是query tower，实时计算Query Embedding，模型加载在tensorflow service，在线召回 TopK Item。

 

整个模型并不复杂，现在很多搜索推荐的召回算法中都有类似的想法，就是把用户和个性化信息作为一个tower，item信息作为另一个tower，然后通过多层的感知机进行训练建模，最后计算相似度排序召回。

模型最终公式如下：

f(q,s)=G(Q(q),S(s))

Q(q)∈Rd×m 表示query的embedding
S(s)∈Rd×m 表示sku