多目标学习在推荐系统的应用(MMOE/ESMM/PLE)

最新推荐文章于 2024-09-28 10:56:01 发布
转载 最新推荐文章于 2024-09-28 10:56:01 发布 · 628 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://zhuanlan.zhihu.com/p/291406172
文章标签：

#tensorflow

本文探讨了多目标学习在推荐系统中的应用，重点介绍了MMOE、ESMM和PLE等模型如何有效解决推荐场景下的多目标优化问题，提高推荐精度。
部署运行你感兴趣的模型镜像

您可能感兴趣的与本文相关的镜像

Qwen3-8B

Qwen3-8B

文本生成
Qwen3

Qwen3 是 Qwen 系列中的最新一代大型语言模型，提供了一整套密集型和专家混合（MoE）模型。基于广泛的训练，Qwen3 在推理、指令执行、代理能力和多语言支持方面取得了突破性进展

推荐系统（十五）：基于双塔模型的多目标商品召回/推荐系统
Jin_Kwok的博客
03-27 1533
本文基于TensorFlow构建了一个支持多任务学习的双塔推荐模型，可同时预测点击率（CTR）和转化率（CVR）。通过用户塔和商品塔的分离式设计，模型既能捕捉用户兴趣偏好，又能理解商品特征，最终通过向量相似度计算生成推荐结果
AI上推荐 之 MMOE(多任务yyds)
Miracle8070
04-20 5472
1. 写在前面 这篇文章开始多任务模型的学习，随着推荐技术的蓬勃发展，目前越来越多的推荐场景，往往并不是单纯的优化一个指标，比如: 视频推荐领域: 推荐排序任务不仅需要考虑到用户点击率，完播率，也需要考虑到一些满意度指标，例如，对视频是否喜欢，用户观看后对视频的评分； 文章推荐领域: 不仅希望用户点击阅读文章，还希望用户有更多的停留时长，互动、关注。 电商推荐领域: 不仅希望用户更多对商品点击浏览，还希望用户看完商品后进行付费，点击率和转化率 所以，推荐系统做到后期，往往会朝着多目标学习进行演化，承担更
多目标优化算法_多目标优化概论及基础算法ESMM与MMOE对比（二）
weixin_39840606的博客
12-14 1351
承接上文：链接：多目标优化概论及基础算法ESMM与MMOE对比这次这篇文章写点实用的。可以当做推荐算法工程师面试的考前突击，也可以当做面试官的面试题库。ESSM和MMOE都是最基本的算法，相当于多目标优化的入门级的读物。越经典越需要细嚼，温故而知新嘛。这些题目和答案都是我自己在看论文过程中自我提问和自我回答总结出来的。如果有不同看法和答案，欢迎留言交流，互为增长，互相启发。细节...
推荐模型之多任务模型：ESMM、MMOE
A496608119的博客
06-23 1万+
的全称是Entire Space Multi-task Model (ESMM)，是阿里巴巴算法团队提出的多任务训练方法。其在信息检索、推荐系统、在线广告投放系统的CTR、CVR预估中广泛使用。以电商推荐系统为例，最大化场景商品交易总额（GMV）是平台的重要目标之一，而GMV可以拆解为流量×点击率×转化率×客单价，因此转化率是优化目标的重要因子之一； 从用户体验的角度来说转换率可以用来平衡用户的点击偏好与购买偏好。，其存在如下问题：ESMM模型利用用户行为序列数据在完整样本空间建模，避免了传统CVR模型经常
推荐模型复现（四）：多任务模型ESMM、MMOE
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
06-27 2918
本章为推荐模型复现第四章，使用torch_rechub框架进行模型搭建，主要介绍推荐系统召多任务模型ESMM、MMOE，包括结构讲解与代码实战，参考其他文章。
ESMM、MMOE-推荐系统小结
stephen147的博客
06-27 1808
ESMM、MMOE-推荐系统小结
深度学习推荐系统-多目标-PLE模型
qq_33221657的博客
09-28 1734
PLE模型是腾讯发表在RecSys ’20上的文章，这篇paper获得了recsys’20的best paper award，也算为腾讯脱离技术贫民的大业添砖加瓦了。
【推荐系统】多任务学习之ESMM模型
发现问题，并解决问题，批判性思维
06-27 2007
多任务学习模型默认是multi-label 多标签 / 目标学习模型。 在推荐系统的精排模块，多任务学习的模型结构已成业界的主流。多任务学习（multi-task learning），本质上是希望使用一个模型完成多个任务的建模。在推荐系统中，多任务学习一般即指多目标学习（multi-label learning，如上图所示），不同目标输入相同的feature进行联合训练，是迁移学习的一种。他们之间的关系如图：下面我们先讨论三个问题（1）很多业界推荐的业务，就是一个多目标的建模场景，需要多目标共同优化。以vx
MMoE & PLE：推荐系统多任务学习（multitask）的实战总结和常见问题（三）
JRsLoveAI的博客
12-08 3889
多任务学习算法系列的主要内容是回顾和总结自己2019-2021间在深度学习多任务学习算法(multitask)的工业实践和遇到的常见问题，欢迎更多同学讨论和指正，同时也宣传一波我们组在推荐方向的工作成果——大规模推荐算法库PaddleRec（https://github.com/PaddlePaddle/PaddleRec），欢迎大家点赞，关注和讨论。 第一章多任务学习综述：推荐系统多任务学习（multitask）的实战总结和常见问题（一） 介绍了多任务的基本概念和常见的动机及应用场景。 第二章Sh
【CTR排序】多任务学习之MMOE模型
发现问题，并解决问题，批判性思维
09-18 2107
如果任务之间差的很大，MOE这种单门控控制的方式就不行了，因为此时底层的多个专家学习到的特征模式相差可能会很大，毕竟任务不同，而单门控机制选择专家组合的时候，肯定是选择出那些有利于大多数任务的专家， 而对于某些特殊任务，可能学习的一塌糊涂。更关键的时候，参数量还不会增加太多。为了增加灵活性， 为不同的模型还学习了重要性权重，这可能考虑到了在学习任务的共性模式上， 不同的模型学习的模式不同，那么聚合的时候，显然不能按照相同的重要度聚合，所以为各个专家学习权重，默认了不同专家的决策地位不一样。
【datawhale202206】pyTorch推荐系统：多任务学习 ESMM&MMOE
qq_40990057的博客
06-28 2849
多任务学习是排序模型的一种发展方式，诞生于多任务的背景。实践表明，多任务联合建模可以有效提升模型效果，因其可以：任务互助；实现隐式数据增强；学到通用表达，提高泛化能力（特别是对于一些数据不足的任务）；正则化（对于一个任务而言，其他任务的学习对该任务有正则化效果）目前的多任务联合建模有三种主要的模型形式：hard parameter sharing；soft parameter sharing （MMOE属于这种）；任务序列依赖关系建模（ESMM属于这种）本次学习涉及了两个模型：ESMM和MMOE...
机器学习多任务学习综述！ MMOE/ESMM
心之所向
07-16 1776
本文对多任务学习(multi-task learning, MTL)领域近期的综述文章进行整理，从模型结构和训练过程两个层面回顾了其发展变化，旨在提供一份 MTL 入门指南，帮助大家快速了解多任务学习的进化史。多任务学习：给定 m 个学习任务，这m个任务或它们的一个子集彼此相关但不完全相同。通过使用所有m个任务中包含的知识，有助于改善特定模型的学习。具有相关联任务效果相互提升作用，即同时学习多个任务，若某个任务中包含对另一个任务有用的信息，则能够提高在后者上的表现；
MMoE
ChristineC_的博客
04-20 847
Time： Author：Jiaqi Ma, Zhe Zhao, Abstract Model Architecture Reference
多目标建模算法PLE
null的专栏
01-18 2710
为了解决多任务模型中普遍存在的负迁移和跷跷板现象，在MMoE模型的基础上提出了CGC模型，在共享专家的基础上增加了针对特定任务的专家网络，可以针对特定任务学习到独有的网络部分，从而避免任务之间的相互影响，同时为了进一步提升整体网络的泛化效果，在CGC的基础上通过堆叠Extraction Network构造了更深的网络结构，进一步提升多任务模型的学习效果。
[推荐系统] - 多目标排序 MMoE、PLE
ZhuNian的学习乐园
05-02 2134
多目标排序MMoE、PLE
MMoE ESSM PLE对比
taoqick的专栏
10-04 3739
---------------------MMoE-------------------- 通过门控网络的机制来平衡多任务，multi-gate的结构对于任务差异带来的冲突有一定的缓解作用。 一、Motivation 多任务模型通过学习不同任务的联系和差异，可提高每个任务的学习效率和质量。多任务学习的的框架广泛采用shared-bottom的结构，不同任务间共用底部的隐层。这种结构本质上可以减少过拟合的风险，但是效果上可能受到任务差异和数据分布带来的影响。也有一些其他结构，比如两个任务的参数不共用..
推荐系统（三）：推荐系统中常见多任务模型MMOE，ESMM，CGC，AITM
夏未眠秋风起的博客
09-27 7340
​在实际生活中，我们关注的任务往往是一对多的，例如推荐系统场景中，我们希望物品的点击率和转化率都要高，如果只是单纯的集中于优化某一个目标，往往会导致其他​被忽略的目标变差。多任务学习通过共享目标之间的表征，优化多个任务的目标，从而改善多个任务的模型性能，因此多任务模型在推荐系统中​很常见。 ​这次和大家分享其中常见的几种多任务模型MMOE，ESMM，CGC，AITM，文末给出了参考文献，有兴趣的小伙伴可以​从论文中获取详细内容。 Hard-parameter sharing 图...
多任务学习模型MTL: MMoE、PLE
热门推荐
sgyuanshi的博客
10-25 1万+
常见的监督学习包括： 回归：预测值为连续值，如销售额； 二分类：预测值为离散值，且只有两种取值，如性别，要么是男，要么是女； 多分类：预测值为离散值，且多于两种取值，如动物分类，可能有猫、狗、狮子等等； 还有另外一种，也是本文的主角：多任务学习（Multi Task Learning）。 MTL介绍 首先，介绍什么是多任务学习，例如之前文章提到的微信视频场景，同时包含多个学习目标（task）：是否转发、是否点赞、是否关注等。 微信大数据挑战赛 以往的做法可能会对不同的task分别建立对应的模型，但这样会
直播推荐、搜索中的召回、相关性、多目标精排、特征、重排 - 多目标精排(1)
yifu0121
03-03 1359
直播推荐、搜索中的召回、相关性、多目标精排、特征、重排 - 多目标精排
多任务学习 ESMM
最新发布
01-04
### ESMM在多任务学习中的应用 ESMM（Entire Space Multi-Task Model）是一种有效的多任务学习框架，特别适用于估计点击后的转化率(CVR)[^2]。该模型通过联合优化多个相关目标函数，在整个样本空间内进行训练，从而...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值