召回09 双塔模型+自监督学习

最新推荐文章于 2025-08-26 00:15:00 发布
原创 最新推荐文章于 2025-08-26 00:15:00 发布 · 410 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#学习 #人工智能 #机器学习

引入：

自监督学习改进双塔模型，可以提升业务指标。自监督学习是把物品塔学习得更习的更好。

长尾物品的曝光和点击数量太少，训练的样本次数不够。自监督可以更好地学习长尾数据的物品表征。

双塔模型的训练：

线上召回的时候不用纠偏，不需要调整

最低0.47元/天 解锁文章
【PyTorch基础教程30】DSSM双塔模型（线上召回 | 模型更新）
发现问题，并解决问题，批判性思维
06-22 3207
召回中，一般的训练方式分为三种：point-wise、pair-wise、list-wise。用参数`mode`来指定训练方式，每一种不同的训练方式也对应不同的Loss。 对应的三种训练方式可以参考下图（3种），其召回中，一般的训练方式分为三种：point-wise、pair-wise、list-wise。在datawhale的RecHub中，用参数`mode`来指定训练方式，每一种不同的训练方式也对应不同的Loss。.................................
【深度学习技术系列】推荐系统-双塔模型基本原理与实践
小田的专栏
04-06 6748
双塔模型经典又简单，就是NLP领域的 query 和 document，推荐领域的 user 和 item，多模态检索领域的图像和文字等，都可以用双塔表示，分别把两个领域的特征编码成一个向量，然后向量相似度进行召回。较早使用双塔模型的是DSSM模型。将文本编码成对应低维向量，然后通过优化向量点积估值，得到合适的query和文档向量。线上通过query和文档的相似度进行文档的召回。推荐系统中使用的双塔模型结构如下：真实的推荐领域的大规模推荐系统，通常有百万到上亿的item和user。
召回06 双塔模型two-tower(DSSM)
DEVIL_hym的博客
09-27 1017
这是粗排和精排，前期融合，将特征在神经网络之前就拼接融合，不适用于召回，适用于排序模型；召回使用双塔模型，是在最终输出相似度的时候才融合。
双塔模型+自监督学习
别说话写代码的博客
05-05 1062
双塔模型的问题： 推荐系统头部效应严重：少部分物品占据大部分点击，大部分物品点击次数不高 高点击物品表征学得好，长尾物品表征学的不好 自监督学习：做data augmentation，更好的学习长尾物品的向量表征。自监督学习的目的是为了把物品塔学的更好。
双塔模型+实时召回终极方案：从百万级到十亿级（附代码+6大性能优化秘籍）
shejizuopin的博客
03-21 948
通过多模态双塔模型提升30%召回率，Faiss+HNSW降低97%延迟，增量更新+缓存扛住百万QPS。召回延迟 < 10ms（P99）缓存命中率 > 90%支持十亿级物品池警告：避免在Faiss中使用（仅适合小规模数据），优先使用IndexHNSWIVF！使用时需手动归一化向量。
一文看懂推荐系统：召回06：双塔模型——模型结构、训练方法，召回模型是后期融合特征，排序模型是前期融合特征
热门推荐
weixin_46838716的博客
08-04 1万+
（1）找工作投简历的话，你要将招聘单位的岗位需求和你的研究方向和工作内容对应起来，这样才能契合公司招聘需求，否则它直接把简历给你挂了 （2）你到底是要进公司做推荐系统方向？还是纯cv方向？还是NLP方向？还是语音方向？还是深度学习机器学习技术中台？还是硬件？还是前端开发？后端开发？测试开发？产品？人力？行政？这些你不可能啥都会，你需要找准一个方向，自己有积累，才能去投递，否则面试官跟你聊什么呢？ （3）今日推荐系统学习经验：三种训练方法的本质都是让用户和正样本物品的余弦相似度大，而用户跟负样本的余弦相似度小
推荐召回算法之双塔模型
define_us的专栏
12-15 477
推荐
【王树森推荐系统】召回09：双塔模型+自监督学习
hxdxiaoming的博客
07-08 840
召回09：双塔模型+自监督学习
工业界真实的推荐系统(小红书)-召回-改进双塔模型-自监督学习
qq_17065591的博客
03-14 1327
王树森老师的硬核课程，由于PPT很多，并且老师的很多经验是口述，没有写在PPT里，网上有一些网友的笔记，但不是很完整，学习起来也比较费事，所以我自己整理了120页的PPT（这里放的是截图），期望能比较完整地把老师的经验呈现出来，同时缩短学习时间。deep retrieval因为只有字节落地，我没有整理，就1页放在这里…课程特点：系统、清晰、实用，原理和落地经验兼具。
推荐系统王树森（二）双塔模型等多种召回
最新发布
nju_spy的博客
08-26 4380
双塔模型是推荐系统中的重要结构，通过用户和物品两个神经网络塔生成向量表示。其训练需解决样本不平衡问题，包括过采样冷门物品或降采样热门物品，并采用不同负样本策略。线上应用时，通过向量数据库快速召回相似物品，并采用全量和增量更新结合的方式。针对长尾物品表征不足，引入自监督学习增强特征学习。此外，还介绍了DeepRetrieval、地理位置召回等扩展方法，以及曝光过滤的Bloom Filter应用。这些技术共同提升了召回效果与系统效率。
对比学习（一）-双塔模型-simCLR
世上再无张显宗
06-15 4963
对比学习中的双塔模型：通过学习simCLR的模型来学习对比学习的基本结构和原理。
基于Embedding召回和DSSM双塔模型
小叮当的博客
02-22 1800
基于embedding的召回是从内容文本信息和用户查询的角度出发，利用预训练的词向量模型或深度学习模型，将文本信息转换成向量进行表示，通过计算两个向量之间的距离或者相似度来推荐内容。这种方式主要考虑商品文本信息的语义信息，使推荐的内容更加精准。Embedding召回主要的优缺点扩展性强：基于 Embedding 的召回算法可以学习大规模物品或用户的向量表示，因此对于超大规模推荐系统也可以进行有效召回。表达能力强。
【推荐系统】DSSM双塔召回2
littlemichelle
05-13 2928
无
张俊林：从对比学习视角，重新审视推荐系统的召回粗排模型
Kaiyuan_sjtu的博客
10-27 2260
分享嘉宾：张俊林博士新浪微博编辑整理：王岩 开课吧出品平台：DataFunTalk导读：今天分享的主题是从对比学习的视角，即从一个不同的角度来看看推荐系统里面的召回和粗排模型。对比学习从...
数据与广告系列三十五：召回，没有什么是一个双塔解决不了的，如果有，那就多来几个
数据虫巢
01-03 1233
作者·黄崇远『数据虫巢』全文19476字题图ssyer.com“广告推荐的召回，没有什么是一个双塔解决不了的，如果有，那就多来几个。当然，这是戏说，但对于召回技术来说，确实是崛起于双塔，或者说双塔技术为推荐广告的召回提供了更广阔的想象空间，但实际上召回发展的路上，却不止于双塔。”如题引，我们今天的主题包含了两层，业务视角是召回，技术视角是双塔技术的演化，而逻辑的推进是两者的有机结合，最终我们会沿...
CIKM'21 | 谷歌：推荐中的自监督对比学习
Kaiyuan_sjtu的博客
02-21 1304
作者|Chilia哥伦比亚大学nlp搜索推荐整理|NewBeeNLP1.对比学习到底是啥对于最近很火的“对比学习”，许多人把它和我们之前经常用的向量化召回...
谷歌最新双塔DNN召回模型——应用于YouTube大规模视频推荐场景
hellozhxy的博客
04-26 3204
“谷歌基于双塔DNN框架提出一个大规模最近邻召回系统，为降低采样偏差带来的影响，文章对batch softmax的损失函数进行了改进，同时从工程的角度介绍了大规模双塔DNN召回模型的训练、部署、应用等细节” 文章来源：https://zhuanlan.zhihu.com/p/128988454点击文末【阅读原文】关注专栏及时获得更多更新！ 一、创新点 1、文章将视频召回问题看做一个多分类...
召回模型：DSSM双塔模型
Celeste小天地
06-06 1839
双塔召回模型
负样本为王：评Facebook的向量召回算法
夕小瑶科技说
08-15 1462
星标/置顶小屋，带你解锁最萌最前沿的NLP、搜索与推荐技术有人的地方就会有江湖，就会有鄙视链存在，推荐系统中也不例外。排序、召回，尽管只是革命分工不同，但是我感觉待遇还是相差蛮大的排序排...
能够进行差异学习，来实现标记文本位置的模型
09-20
差异学习（Contrastive Learning）是一种无监督学习方法，可以将相似的样本聚集在一起，将不相似的样本分开。在自然语言处理中，差异学习可以用于学习文本表示，其中标记文本位置的任务可以被视为一种对比学习任务。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值