多目标推荐：MMOE

最新推荐文章于 2025-05-11 19:52:07 发布
原创 最新推荐文章于 2025-05-11 19:52:07 发布 · 551 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#tensorflow #深度学习 #keras

论文介绍了MMOE模型，一种用于多任务学习的方法，它通过多门控混合专家（Multi-gateMixture-of-Experts）结构来处理任务之间的差异。在OMOE模型基础上，MMOE为每个任务设置单独的gate，以适应不同任务的需求，缓解任务间的冲突。当任务相关性低时，MMOE的表现优于OMOE，显示出其在处理任务差异上的优势。提供的代码展示了MMOE模型的实现细节，包括专家网络和门网络的构建。

论文直达

Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts | Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining

原理架构说明

如图是作者给出一个架构图，其中的c就是本文提到的MMOE。

  • a)为共享参数的模型架构

  • b)为OMOE模型架构

  • c)在OMOE的基础上，为每一个任务分贝设置一个gate，对不同的任务使用不同的gate与共享参数进行点乘，作为不同任务的基础输出。

作为2018年的论文，gate更加像是一种attention机制的雏形，论文相对简单。在任务相关度很低的情况下，则OMoE的效果相对于MMoE明显下降，说明MMoE中的multi-gate的结构对于任务差异带来的冲突有一定的缓解作用

代码部分

模型整体
最低0.47元/天 解锁文章
AI上推荐 之 MMOE(多任务yyds)
Miracle8070
04-20 5474
1. 写在前面 这篇文章开始多任务模型的学习，随着推荐技术的蓬勃发展，目前越来越多的推荐场景，往往并不是单纯的优化一个指标，比如: 视频推荐领域: 推荐排序任务不仅需要考虑到用户点击率，完播率，也需要考虑到一些满意度指标，例如，对视频是否喜欢，用户观看后对视频的评分； 文章推荐领域: 不仅希望用户点击阅读文章，还希望用户有更多的停留时长，互动、关注。 电商推荐领域: 不仅希望用户更多对商品点击浏览，还希望用户看完商品后进行付费，点击率和转化率 所以，推荐系统做到后期，往往会朝着多目标学习进行演化，承担更
MMOE多目标建模
永远飞翔的鸟
07-22 371
MMOE
深度学习 - 45.MMOE && Gate 简单实现 By Keras
BITDDD小栈
04-27 2181
Keras 实现 Multi-gate Mixture-of-Experts [MMoE] 简易结构。
[代码实现]用Tensorflow实现MMoE
北望花村
08-08 2981
本文主要介绍tensorflow中mmoe的实现方式。 一.mmoe概念 先简单回忆下mmoe的概念： https://blog.youkuaiyun.com/u013250416/article/details/118642297 二.已有keras版本实现思路分析 github中已经有keras版本mmoe的实现（https://github.com/drawbridge/keras-mmoe/blob/master/mmoe.py），通过已经有的代码，可以简单理顺一下mmoe中各个组件的维度。 cl
【推荐系统】谷歌MMoE(Multi-gate Mixture-of-Experts)模型原理[附基于Pytorch的代码实现]
qq_57161038的博客
10-21 1249
推荐系统-谷歌MMoE(Multi-gate Mixture-of-Experts)模型
推荐系统5---多目标排序
瑶子的博客
12-21 4352
一、多目标排序 1.1为什么要有多目标排序？ ⼯业界推荐系统多基于隐式反馈 •Global bias：不同⽬标表达不同的偏好程度 •Item bias：单个⽬标衡量不全⾯（标题党） •User bias：⽤户表达满意度的⽅式不同 •综合⽬标收益最⼤化 多⽬标排序的难点 多⽬标 vs CTR预估 **•**部分⽬标数据稀疏，模型准确率低 **•**在线服务计算量⼤ **•**多个⽬标间重要性难以量...
python多目标MODE算法
03-26
【python】多目标MODE算法 【python】多目标MODE算法 【python】多目标MODE算法 【python】多目标MODE算法
多任务学习模型MTL: MMoE、PLE
热门推荐
sgyuanshi的博客
10-25 1万+
常见的监督学习包括： 回归：预测值为连续值，如销售额； 二分类：预测值为离散值，且只有两种取值，如性别，要么是男，要么是女； 多分类：预测值为离散值，且多于两种取值，如动物分类，可能有猫、狗、狮子等等； 还有另外一种，也是本文的主角：多任务学习（Multi Task Learning）。 MTL介绍 首先，介绍什么是多任务学习，例如之前文章提到的微信视频场景，同时包含多个学习目标（task）：是否转发、是否点赞、是否关注等。 微信大数据挑战赛 以往的做法可能会对不同的task分别建立对应的模型，但这样会
模型结构解读：MMoE (Multi-gate Mixture-of-Experts)
最新发布
Hongyu_Liu的博客
05-11 1064
MMoE（Multi-gate Mixture-of-Experts）是一种多任务学习模型，旨在同时优化多个相关但不完全相同的任务。传统方法通常为每个任务构建独立模型，导致任务间缺乏交互，而MMoE通过共享专家网络和任务特定的门控网络，有效捕捉任务间的相关性。MMoE的核心结构包括专家网络、门控网络和任务专用塔，每个任务的门控网络学习如何加权组合专家输出，以优化特定任务。文章还提供了MMoE的PyTorch实现代码，包括模型定义、训练步骤和示例使用，展示了如何通过多任务学习提升模型性能。
MMOE多目标学习
CatTravel的博客
01-03 1090
（致力结合理论知识与互联网前沿应用场景，给读者全方位的收获） 摘要： 最近多目标模型越来越受到重视，特别在工业界有很好的应用。本文通过讲解MMOE的原理，并根据笔者在工作中应用MMOE的经验，来给大家引出这篇博文。 多目标模型的意义： 现实世界中，我们的业务目标往往不是单一的。 比如购物APP中，我们不仅仅希望你浏览商品，也希望你购买商品，甚至分享商品，评论商品。 比如短视频推荐，我们不单希望你看视频，也希望你点赞、评论、分享视频，还希望你能关注发布的作者。 因此多目标模型的出现，就可以让我们的场景同.
多目标MMOE
serenysdfg的博客
07-24 2304
介绍MMOE deep部分：存在多个Expert网络，每个Expert网络的输出最终会经过门网络进行加权平均（比较简单的线性加权，Attention的思想） 门网络通过softmax输出每个专家网络的可能性，线性加权相乘。然后进行分类或者回归任务 对于不同的任务通过相应的Gating Network来对不同的Expert赋予不同的权重，使得部分Expert“专注于各自擅长的任务” 论文：左侧的shallow tower部分和右侧的main tower部分，论文中提到的采用类似Wide&Deep模型
【多目标最优化】利用pymoo解决多目标规划问题
m0_57491181的博客
03-10 3370
python快速解决多目标最优化问题pymoo库
多目标优化算法包pymoo参考指南
我不爱机器学习的博客
05-12 5380
1 多目标函数定义 在不损失任何通用性的情况下，优化问题可以定义为： 式中： xix_ixi​ 为第 iii 个待优化变量； xiLx^L_ixiL​ 和 xiUx^U_ixiU​ 为其下界和上界； fmf_mfm​ 为第 mmm 个目标函数； gjg_jgj​ 为第 jjj 个不等式约束； hkh_khk​ 为第 kkk 个等式约束。 目标函数 fff 应满足所有的等式和不等式约束。如果一个特定的目标函数是最大化(max⁡fi\max f_imaxfi​)，可以重新定义问题以最小化其负值(min
对象检测目标小用什么模型好_多目标跟踪（MOT）入门
weixin_39919948的博客
11-10 1332
最近做了一些多目标跟踪方向的调研，因此把调研的结果以图片加文字的形式展现出来，希望能帮助到入门这一领域的同学。也欢迎大家和我讨论关于这一领域的任何问题。相关方向这些是我所了解的多目标跟踪（MOT）的一些相关方向。其中单目标跟踪（VOT/SOT）、目标检测（detection）、行人重识别（Re-ID）都是非常热门的方向。而偏视频的相关方向就比较冷门。而且今年五月DukeMTMC因为隐私问题不再提供...
多目标学习(MMOE/ESMM/PLE)在推荐系统的实战经验分享
abcdefg90876的博客
12-18 1万+
作者 |绝密伏击知乎|https://zhuanlan.zhihu.com/p/291406172整理 | 深度传送门一、前言最近搞了一个月的视频多目标优化，同时优化点击率和衍生率...
Python实战开发及案例分析（3）——多目标优化
贾贾的博客
05-03 6552
多目标优化涉及同时优化两个或更多的冲突目标，而这些目标往往不能同时达到最优。在Python中，多目标优化可以通过多种方法实现，包括使用进化算法或其它启发式方法来探索解决方案的权衡。
多目标优化：Pymoo入门实战
weixin_52450371的博客
10-12 4911
多目标优化
MMOE核心代码块
suibianshen2012的专栏
03-28 888
class MMoE_Layer(tf.keras.layers.Layer): def __init__(self,expert_dim,n_expert,n_task): super(MMoE_Layer, self).__init__() self.n_task = n_task self.expert_layer = [Dense(expert_dim,activation = 'relu') for i in range(n_expert).
【阅读笔记】多任务学习之MMoE(含代码实现)
简简单单的学习笔记，致力于帮助更多前进路上的朋友~
11-01 1万+
本文作为自己阅读论文后的总结和思考，不涉及论文翻译和模型解读，适合大家阅读完论文后交流想法，文末含MMoE的Pytorch实现及Synthetic Data的生成代码。
MMOE 多目标实际应用效果
01-22
### MMOE 多目标场景下的实际应用效果 MMOE（Multi-gate Mixture-of-Experts）模型是一种有效的架构，在处理多目标任务时表现出色。该模型通过共享底层特征表示并允许不同任务之间的协作来提高性能。 #### 模型结构与工作原理 MMOE 架构由多个专家网络组成，这些专家网络负责捕捉输入数据的不同方面。每个专家网络可以专注于特定类型的模式识别。对于不同的目标任务，存在独立的门控机制，用于决定哪些专家的知识应该被利用于特定的任务预测中[^1]。 ```python import tensorflow as tf from tensorflow.keras.layers import Input, Dense def build_mmoe_model(input_dim, num_experts=8, expert_units=64, tasks=['task1', 'task2']): input_layer = Input(shape=(input_dim,)) # Experts layer experts_outputs = [] for _ in range(num_experts): expert_output = Dense(expert_units, activation='relu')(input_layer) experts_outputs.append(expert_output) outputs = [] for task_name in tasks: gating_network = Dense(len(experts_outputs), activation="softmax")(input_layer) weighted_sum = sum([gating_network[:, i:i+1]*experts_outputs[i] for i in range(len(experts_outputs))]) output_for_task = Dense(1)(weighted_sum) outputs.append(output_for_task) model = tf.keras.Model(inputs=input_layer, outputs=dict(zip(tasks, outputs))) return model ``` 这种设计使得 MMOE 能够有效地应对复杂的现实世界问题，其中可能涉及多种相互关联的目标变量。例如，在推荐系统中，除了点击率之外还可以优化转化率；在广告投放领域，则可同时考虑CTR（Click Through Rate）、CVR（Conversion Value Rate）等多个指标。 #### 实际应用场景中的表现 研究表明，在许多情况下，采用 MMOE 方法能够显著提升整体系统的效率和准确性。特别是在那些具有高度相关性的子任务上，由于参数共享带来的正则化效应以及更丰富的表征能力，往往可以获得更好的泛化能力和更高的精度[^2]。 然而值得注意的是，尽管 MMOE 提供了一种强大的框架来进行多目标学习，但在具体实施过程中仍需仔细调整超参数设置，并针对具体的业务需求定制相应的损失函数形式以达到最优解。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

会发paper的学渣

您的鼓励和将是我前进的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值