推荐系统-召回层：user-item双塔架构

已于 2023-02-01 21:19:17 修改
阅读量658 收藏
点赞数
分类专栏： # RS/召回层 文章标签： 推荐系统
于 2022-06-04 10:25:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u013250861/article/details/125119192
版权

双塔模型被广泛应用于推荐系统的召回和粗排阶段，应用过程中也存在一定区别：
（1）负样本构造

召回：正样本是真实正例，负样本通过采样（全局采样、batch内采样等）得到
粗排：要接近精排，样本与精排一致，正负样本都是从用户的真实正负例中选取
召回是从海量候选集中，要把用户可能感兴趣的或完全不相关的item区分开来，所以召回在线上所面对的数据环境，就是鱼龙混杂、良莠不齐，负样本除了曝光未点击的真实负例外，也要包含未曝光的样本，目的就是让训练样本尽量符合线上真实分布，让模型“见见世面“。

（2）线上预测

召回：把item向量导入faiss，建立索引，获取user向量，在faiss中做近邻搜索，得到topn相似item作为召回候选
粗排：item向量不需要导入faiss建立索引，只需要以kv方式存储起来，获取user向量，kv库中检索获取item向量，通过内积得到粗排打分，选取topn送入精排

参考资料：
推荐系统(十八) 大厂实践经验学习：双塔模型
推荐系统(十一) 2021-2022年工业界推荐算法实践经验汇总

推荐算法架构1：召回
谢杨易的博客
02-19 9314
1 推荐算法总体架构 1.1 推荐算法意义 随着互联网近十年来的大力发展，用户规模和内容规模均呈现迅猛发展。用户侧日活过亿早已不是什么新鲜事，内容侧由于UGC生产方式的普及，拥有几十亿内容库的平台也屡见不鲜。如何让海量用户在海量内容中找到自己喜欢的，以及如何让海量内容被海量用户精准消费，一直以来都是每个公司十分核心的问题。在这个背景下，搜索系统和推荐系统应运而生。搜索系统主要解决用户寻找感兴趣的内容，偏主动型消费。推荐系统则主要解决内容推送给合适用户，偏被动型消费。二者一边牵引用户，一边牵引内容，是实现
2021-06-05 推荐系统技术演进趋势：召回-＞排序-＞重排
anqi3776的博客
06-05 597
推荐系统技术演进趋势：召回->排序->重排 实际的工业推荐系统，如果粗分的化，经常讲的有两个阶段。首先是召回，主要根据用户部分特征，从海量的物品库里，快速找回一小部分用户潜在感兴趣的物品，然后交给排序环节，排序环节可以融入较多特征，使用复杂模型，来精准地做个性化推荐。召回强调快，排序强调准。当然，这是传统角度看推荐这个事情。 但是，如果我们更细致地看实用的推荐系统，一般会有四个环节，如下图所示： 四个环节分别是：召回、粗排、精排和重排。召回目的如上所述；有时候因为每个用户召回环节返回的物品
推荐系统User-Item Embedding图算法
炼丹笔记
05-25 2024
在做推荐算法任务时，在（user, item）的交互数据集中进行建模是常见的方式，本文基于GNN对User侧和Item侧进行embedding的思路，介绍3篇相关论文。这三篇文章分别来自SIGIR 2019，2020，2021。 本文主要解决传统协同过滤算法，因为缺少对user-item交互数据中的协同信息（Collaborative Signal）较好的编码方式，从而无法很好的学到Embeddi...
####好好好#####知识图谱上的双塔召回：阿里的IntentGC模型
木东的博客
12-10 612
关注本人的同学可能发现，我最近点评的文章都是关于"GNN在推荐系统应用"方向的。这当然与现如今这个方向非常火有关，但是作为一个合格的炼丹师+调参侠，总要搞清楚一门技术为什么火？这么火的技术对于自己是否有用？根据我的理解，由“传统机器学习→深度学习→图计算或知识图谱”这一路下来的发展脉络如下： 一切技术的目标都是为了更好地“伺候”好“推荐系统的一等公民 — ID类特征”。用户购买过的商品、光顾过的店铺、搜索过的关键词、商品的分类与标签，都是这样的ID类特征 传统的机器学习只会“严格匹配”。用户
推荐系统（十五）：基于双塔模型的多目标商品召回/推荐系统
Jin_Kwok的博客
03-27 974
本文基于TensorFlow构建了一个支持多任务学习的双塔推荐模型，可同时预测点击率（CTR）和转化率（CVR）。通过用户塔和商品塔的分离式设计，模型既能捕捉用户兴趣偏好，又能理解商品特征，最终通过向量相似度计算生成推荐结果
【推荐系统】User-Item CF：GC-MC
zzy_NIC的博客
01-24 959
本次解读的文章是 2017 年 arXiv 的一篇基于图卷积神经网络的用户物品协同过滤推荐算法论文，名为《Graph Convolutional Matrix Completion》
深度学习模型——双塔模型（Two-Tower Model）详解
goTsHgo的博客
12-05 3485
双塔模型是一种简单而高效的语义匹配模型，通过用户塔和物品塔的独立建模，以及匹配层的相似性计算，实现了用户和物品之间的高效推荐。本文从原理到代码实现，逐步拆解了双塔模型的核心逻辑和设计思想，使其易于理解和应用。
双塔模型范式原理与结构解析
soaring_casia的专栏
10-21 1027
所以在请求召回的时候，同时并发的去请求粗排的一个模块，实际上相当于把召回计算用户的 embedding 表征和粗排计算的用户的 embedding 表征做一个并行的计算，它俩的时间会进一步的减小，因此整个推荐的返回时间会进一步减小，那这就是双塔在工程里的一个优化点。既然 item 的特征基本不变化，那它不需要实时获取。获得了用户的 embedding 表征之后，item 的表征是可以实时计算的，当然也可以不实时计算，因为在召回的时候，已经把 item 的 embedding 存下来了，可以用于继续计算。
网易云音乐基于YouTube 推荐系统双塔架构解析（含代码）
最新发布
数据与算法架构提升之路专栏
04-14 1118
总体来说，该系统从理论上证明了深度神经网络在个性化推荐上的巨大潜力，同时通过工程化实践展示了如何将这些理论转化为可运行的解决方案。对于研究者和工程师而言，这不仅是一个完整的推荐系统实现案例，也为后续改进和优化提供了宝贵的经验和思路。
【datawhale202206】pyTorch推荐系统：召回模型 DSSM&YoutubeDNN
qq_40990057的博客
06-24 2366
本次所涉及的模型用于推荐系统中的召回环节，该环节主要是一个embedding和筛选，本次所涉及的模型主要用于embedding过程。 DSSM双塔模型是指，user和item的embedding向量分别出自两个网络。模型并不复杂，由两个dnn流再加相似度计算构成。需要主要负样本采样及归一化/温度系数以保证欧氏空间的问题。 而YoutubeDNN则是单塔模型，user和item的embedding向量出自一个网络。模型由一个DNN构成，但对于特征的处理比较讲究。......
AI比赛-推荐系统（一）-新闻推荐03：多路召回【用不同策略分别召回部分候选集，然后把候选集混在一起供后续排序模型使用】【①、YoutubeDNN双塔召回；②、基于物品召回；③、基于用户召回】【天池】
u013250861的博客
01-29 1078
所谓的“多路召回”策略，就是指采用不同的策略、特征或简单模型，分别召回一部分候选集，然后把候选集混合在一起供后续排序模型使用，可以明显的看出，“多路召回策略”是在“计算速度”和“召回率”之间进行权衡的结果。上图只是一个多路召回的例子，也就是说可以使用多种不同的策略来获取用户排序的候选商品集合，而具体使用哪些召回策略其实是与业务强相关的 ，针对不同的任务就会有对于该业务真实场景下需要考虑的召回规则。例如新闻推荐，召回规则可以是“热门新闻”、“作者召回”、“关键词召回”、“主题召回“、”协同过滤召回“等等。
召回06 双塔模型two-tower(DSSM)
DEVIL_hym的博客
09-27 793
这是粗排和精排，前期融合，将特征在神经网络之前就拼接融合，不适用于召回，适用于排序模型；召回使用双塔模型，是在最终输出相似度的时候才融合。
召回模型：DSSM双塔模型
Celeste小天地
06-06 1747
双塔召回模型
User-Item特征
十一城
01-05 464
User 基本属性、行为统计、画像偏好、实时行为几类特征 Item 统计行为 基本属性 物品作者侧的特征 Context 交互时间 网络环境 等 User-Item交互行为 浏览 点击 点赞 转发 评论 关注 推荐 支付
知识图谱上的双塔召回：阿里的IntentGC模型
朝闻道
02-22 776
关注本人的同学可能发现，我最近点评的文章都是关于"GNN在推荐系统应用"方向的。这当然与现如今这个方向非常火有关，但是作为一个合格的炼丹师+调参侠，总要搞清楚一门技术为什么火？这么火的技术对于自己是否有用？根据我的理解，由“传统机器学习→深度学习→图计算或知识图谱”这一路下来的发展脉络如下： 一切技术的目标都是为了更好地“伺候”好“推荐系统的一等公民 — ID类特征”。用户购买过的商品、光顾过的店铺、搜索过的关键词、商品的分类与标签，都是这样的ID类特征 传统的机器学习只会“严格匹配”。用户喜欢喝可口可
【多模态大模型】BridgeTower：融合视觉和文本信息的多层语义信息，主打复杂视觉-语言任务
Debroon
02-04 1862
BridgeTower由一个12层的文本编码器、一个12层的视觉编码器以及6层的跨模态编码器组成，其中每一层的跨模态编码器都通过桥接层与文本和视觉编码器的顶层相连，以促进不同层次的语义信息融合。通过这种方式，BRIDGETOWER项目不仅解决了双塔架构的核心问题，还通过具体的子解法充分利用了不同层次的语义信息，并确保了模型在不同规模和任务上的高性能和适应性。这意味着，如果看图片的专家在图片的某个角落发现了一个重要的线索，他可以立即通知读问题的专家，反之亦然。
百度双塔召回引擎MOBIUS
null的专栏
03-30 694
Mobius的目标是要做一个统一的模型，在这个模型中融合了召回和排序，检索出来的最终的结果是高点击且高相关性，为了完成这样的目标，一个方法是常规的多目标，画一个简单的图如下：这是常用的多目标的建模方式，两个目标共享底层的特征以及网络参数，只是在上层的目标上有不同。在线上检索过程中需要先根据CTR分找到潜在候选，再根据相关性得分过滤。当然在这个建模的过程中还可以考虑诸如多专家等策略，详细参考[3]。高CTR，高相关（需要的，positive）高CTR，低相关（bad）
推荐系统-基于userCF推荐模型
csearch的博客
05-05 2635
时间：2017年5月 出处： 声明：版权所有，转载请联系作者并注明出1.UserCF原理基于用户的协同过滤推荐算法先使用统计技术寻找与目标用户有相同喜好的邻居，然后根据目标用户的邻居的喜好产生目标用户的推荐。 基本原理就是利用用户访问行为的相似性来互相推荐用户可能感兴趣的资源，如下图所示： 上图示意出基于用户的协同过滤推荐机制的基本原理，假设用户A喜欢物品A、物品C，用户B喜欢物品B，
双塔召回 工业实践文章收集
console.log(**)的博客
02-08 841
双塔（DSSM）召回，是个性化推荐中常见的一种方式。但是各家的有各种实践方式去优化。 现收集如下 五八同城：向量化召回上的深度学习实践 https://www.6aiq.com/article/1618011600160 五个星，重点看 QQ浏览器：小说召回中的DSSM模型优化实践 https://www.sohu.com/a/447529493_187948 推荐粗排（召回）工程实践之双塔DNN模型 https://mp.weixin.qq.com/s/w-J_hz1Qf3Y-Kc8ywx9kUg 小米收
双塔召回
03-13
### 关于双塔召回模型在推荐系统中的应用及实现 #### 双塔模型概述 双塔模型作为推荐系统中用于粗排/召回阶段的重要工具，在实际应用中表现出显著的优势。该类模型通过构建两个独立的子网络来分别处理用户和物品特征，最终计算两者之间的相似度得分以决定是否召回特定项目[^1]。 #### DSSM模型的历史地位 DSSM（Deep Structured Semantic Model）被认为是现代双塔架构的先驱者之一。它最初被设计用来解决搜索引擎中的查询文档匹配问题，后来逐渐扩展到更广泛意义上的推荐任务上[^3]。 #### 特征融合时机的区别 值得注意的是，在整个推荐流程的不同阶段，特征融合发生的时刻有所不同。具体来说，召回过程通常发生在较早的时间点，并在此期间仅利用基础属性完成初步筛选；而在后续更为精细的选择过程中，则会引入更多复杂的上下文信息来进行综合评判[^2]。 #### 训练方式的选择 对于如何有效地训练这样一个两分支结构化的神经网络而言，存在多种策略可供选择： - **Pointwise**：这种方法将每一对用户-商品组合视为单独的数据实例进行二分类预测； - **Pairwise**：关注成对比较关系，旨在优化目标函数使得正样本相对于负样例具有更高的评分； - **Listwise**：考虑全局列表顺序，试图直接最小化排名损失从而获得更好的整体效果。 ```python import tensorflow as tf from tensorflow.keras import layers, models class UserTower(models.Model): def __init__(self, input_dim, embedding_dim=128): super(UserTower, self).__init__() self.embedding_layer = layers.Embedding(input_dim=input_dim, output_dim=embedding_dim) def call(self, inputs): embeddings = self.embedding_layer(inputs) pooled_output = tf.reduce_mean(embeddings, axis=1) return pooled_output class ItemTower(models.Model): def __init__(self, input_dim, embedding_dim=128): super(ItemTower, self).__init__() self.embedding_layer = layers.Embedding(input_dim=input_dim, output_dim=embedding_dim) def call(self, inputs): embeddings = self.embedding_layer(inputs) pooled_output = tf.reduce_mean(embeddings, axis=1) return pooled_output def build_model(user_input_shape, item_input_shape, num_classes=1): user_inputs = layers.Input(shape=user_input_shape) item_inputs = layers.Input(shape=item_input_shape) user_tower = UserTower(input_dim=max_user_id + 1)(user_inputs) item_tower = ItemTower(input_dim=max_item_id + 1)(item_inputs) dot_product = tf.reduce_sum(tf.multiply(user_tower, item_tower), axis=-1) outputs = layers.Dense(num_classes, activation='sigmoid')(dot_product) model = tf.keras.models.Model([user_inputs, item_inputs], outputs) return model ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值