排序02 Multi-gate Mixture-of-Experts (MMoE)

最新推荐文章于 2025-12-02 15:32:05 发布
原创 最新推荐文章于 2025-12-02 15:32:05 发布 · 348 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法

MMoE: 不一定适合业务场景

输入向量（包含四种特征）到三个神经网络（专家），不共享参数。实践中超参数专家神经网络个数需要调，会尝试4个或者8个专家。

左边另一个神经网络softmax输出的向量，三个元素均为正数，合为1，作为权重，计算x1 x2 x3 的加权平均。

右边的一样输出作为权重。

极化现象：没有融合多个专家

Multi-gate Mixture-of-Experts（MMoE）
null的专栏
04-07 1856
1. 概述 在工业界经常会面对多个学习目标的场景，如在推荐系统中，除了要给用户推荐刚兴趣的物品之外，一些细化的指标，包括点击率，转化率，浏览时长等等，都会作为评判推荐系统效果好坏的重要指标，不同的是在不同的场景下对不同指标的要求不一样而已。在面对这种多任务的场景，最简单最直接的方法是针对每一个任务训练一个模型，显而易见，这种方式带来了巨大的成本开销，包括了计算成本和存储成本。多任务学习（Multi-task Learning）便由此而生，在多任务学习中，希望通过一个模型可以同时学习多个目标。然而在多任务学习
【推荐系统】Multi-gate Mixture-of-Experts(MMoE)
布纸所云
04-21 1866
Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts 论文链接 论文笔记 摘要 为什么提出？ 多任务学习旨在构建单个模型来同时学习多个目标和任务。 但是，通常任务之间的关系会极大地影响多任务模型的预测质量。 因此，学习task-specific objectives和i...
多任务学习模型详解：Multi-gate Mixture-of-Experts（MMoE ，Google，KDD2018）
ty44111144ty的博客
08-11 2万+
原文地址：多任务学习模型详解：Multi-gate Mixture-of-Experts（MMoE ，Google，KDD2018），首发微信公众号，现在转到优快云上~ 欢迎关注我的公众号，微信搜algorithm_Tian或者扫下面的二维码~ 现在保持每周更新的频率，内容都是机器学习相关内容和读一些论文的笔记，欢迎一起讨论学习~ 上篇文章介绍多任务学习的背景知识，其中提到了相关任...
论文阅读-Multi-gate Mixture-of-Experts(MMOE)
铁锹的填坑记录
09-27 983
MMOE Tittle 总结： 针对的问题： 多任务学习，目的是通过构建一个模型，能够用在不同目标或者任务上。但是这种模型的预测质量往往对于任务之间的关系很敏感。 产生的新想法： 提出了Multi-gate Mixture-of-Experts(MMoE)， 多门控制的混合专家网络。在MoE(专家网络)的基础上，通过在任务间共享专家网络的子模型，来使MoE适应多任务学习。 例如，在电影推荐系统中，通常需要同时优化多个目标，例如同时预测用户的购买率、用户的打分等。 研究表明迁移学习可以通过
一文看懂推荐系统：排序02：Multi-gate Mixture-of-Experts (MMoE)
weixin_46838716的博客
08-22 4763
如果你们公司没有用MMOE，很可能是尝试之后发现没有提升。
模型结构解读：MMoE (Multi-gate Mixture-of-Experts)
Hongyu_Liu的博客
05-11 1034
MMoE（Multi-gate Mixture-of-Experts）是一种多任务学习模型，旨在同时优化多个相关但不完全相同的任务。传统方法通常为每个任务构建独立模型，导致任务间缺乏交互，而MMoE通过共享专家网络和任务特定的门控网络，有效捕捉任务间的相关性。MMoE的核心结构包括专家网络、门控网络和任务专用塔，每个任务的门控网络学习如何加权组合专家输出，以优化特定任务。文章还提供了MMoE的PyTorch实现代码，包括模型定义、训练步骤和示例使用，展示了如何通过多任务学习提升模型性能。
【多模态】Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts 论文阅读及代码解析
qq_36643449的博客
05-18 727
一、MoE简介 MMoE是在MoE的基础之上，引入多任务而来，关于MoE的相关解读，可以参考我的另一篇博客：【论文阅读】Adaptive Mixtures of Local Experts 二、MMoE简介 关于MMoE的论文阅读在我的另一篇博客中已经讲到，具体可以参考：【推荐算法论文阅读】Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts MMoE的模型结构如下图（c）所示： MMo
[论文笔记]Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
北望花村
07-10 895
一.论文题目与作者 Ma J , Zhe Z , Yi X , et al. Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts. ACM, 2018. 二.摘要 2.1 出发点 常见的多任务学习模型对子任务间的关系非常敏感，因此，需要权衡特定任务目标的学习和子任务间关系的学习。 2.2 创新 本文提出Multi-gate Mixture-of-Experts(MMoE)，明确
CTR预估 论文精读(十五)--MMOE: Multi-gate Mixture-of-Experts
Dby_freedom的博客
01-03 3077
MMOE: Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts 0. 论文摘要 Neural-based multi-task learning has been successfully used in many real-world large-scale applications such as recommendation systems. For example, in movi
推荐系统（十五）多任务学习：谷歌MMoE（Multi-gate Mixture-of-Experts ）
天泽28的专栏
03-19 2万+
如果又有多个目标，多个tower之间的相关性并不是很强，比如，CTR、点赞、时长、完播、分享等，并且有的目标的数据量并不是很足够，甚至无法单独训练一个DNN（当然，你如果说我单独建模用xgb，那我无话可说），在这种情况下，我们可能就要考虑MTL了，这时候MMoE就可以派上用场了。值得一提的是，MMoE是谷歌发表在KDD'18上的，和阿里的ESMM同年发表，所以相互之间应该独立的两个工作。
Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer
06-23
神经网络吸收信息的能力受限于其参数的数量。在这篇论文中，我们提出一种新类型的层——稀疏门控专家混合层（Sparsely-Gated Mixture-of-Experts(MoE)），它能够在仅需增加一点计算的基础上被用于有效提升模型的能力。这种层包含了多达数万个前向的子网络（feed-forward sub-networks，被称为专家（expert）），总共包含了多达数百亿个参数。一个可训练的门网络（gating network）可以确定这些专家的稀疏组合以用于每一个样本。我们将这种 MoE 应用到了语言建模任务上——在这种任务中，模型能力对吸收训练语料库中可用的大量世界知识而言是至关重要的。我们提出了将 MoE 层注入堆叠 LSTM（stacked LSTM）的新型语言模型架构，得到的模型的可用参数数量可比其它模型多几个数量级。在语言建模和机器翻译基准上，我们在更低的成本上实现了可与当前最佳表现媲美或更好的结果，其中包括在 1 Billion Word Language Modeling Benchmark 上测得的 29.9 的困惑度（perplexity），以及在 WMT'14 En to Fr（英法翻译）和 En to De（英德翻译）上分别得到了 40.56 和 26.03 的 BLEU 分数。
混合专家模型 Mixture-of-Experts (MoE)
noobiee的博客
10-22 9101
比如在MoE论文的一些实验中，作者采用了n=512，k=2的设定，也就是每次只会从512个专家网络中挑选两个来激活。每个专家模型都是相对独立的，可以根据任务的需求选择不同的模型架构。通过稀疏模型MoE扩大大语言模型的方法：以GLaM模型为例，它包含1.2T个参数，但实际上被激活的参数（activated parameters）只有97B，远少于GPT-3，也就是说，它是稀疏激活的MoE。第二个变动是加了noise，这个的目的是为了做均衡，这里引入了一个Wnoise的参数，后面还会在损失函数层面进行改动。
Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts [KDD 2018] [MM
DrWells的博客
08-04 1121
论文链接： :http://delivery.acm.org/10.1145/3230000/3220007/p1930-ma.pdf?ip=203.12.205.218&id=3220007&acc=OA&key=4D4702B0C3E38B35.4D4702B0C3E38B35.4D4702B0C3E38B35.5945DC2EABF3343C&acm=1564...
进击的下一代推荐系统：多目标学习如何让知乎用户互动率提升100%？
cpongo55
03-24 490
\u003cblockquote\u003e\n\u003cp\u003e知乎是一个问答社区和知识分享平台，各行各业的从业者在这里分享自己领域的知识，来这里的人也是抱着学习的态度，希望有所收获。推荐系统作为知乎的核心功能，一直希望为用户提供最佳的内容推荐，随着移动互联网的发展，内容平台迎来了黄金时代，但也不可避免的出现了很多问题和挑战。\u003c/p\u003e\n\u003cp\u003e作为...
多专家模型(mixture of experts)
热门推荐
算法改变人生
06-02 2万+
Mixtures of experts 本小节介绍多专家模型（the mixture of experts model），该模型的思想是训练多个神经网络（也就是多个专家），每个神经网络（专家）被指定（specialize）应用于数据集的不同部分。这就是说，数据集可能有着多个不同的来源（different regimes，意思是说数据集中的数据的产生方式不同，这里我翻译成了“不同的来源”），不
Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
dawnyi_yang的博客
10-24 1107
前言 这篇是很久以前学习过的文章，但更多的是从使用代码的角度去学习，对文章的写作方法和结构并没有仔细的研究。现在借着做项目的机会，重新回顾这篇文章，并更多的从学习写作的方面进行阅读。 摘要 多任务学习是建立一个能够完成多个目标和任务的单一模型，重点工作在于研究模型目标和任务之间的相互关系。因此文章提出了一种多门混合专家多任务学习模型MMoE，可以学习任务之间的关系，同时具有门控网络来优化每项任务。实验表明，该模型在关联性较小的任务上表现较好，也可根据训练数据和模型初始化中不同程度的随机性，产生额外的可训练性
完全背包 vs 多重背包的优化逻辑
最新发布
布心老混子
12-02 242
做题时想到完全背包是可以转化成多重背包的，那么多重背包需要二进制优化，完全背包需要吗？
2025年全国大学生统计科学与算法编程挑战赛——算法赛道（一）
qq_73044452的博客
12-01 274
摘要：本文包含三个编程问题的解决方案。1) 贪吃蛇问题：通过解析移动指令计算蛇最终所在格子的编号；2) 经济小鱼问题：计算前两局存钱、后两局花钱，最终剩余指定金币的方案数；3) 小理吃甜食问题：模拟多轮糖果挑选过程，计算小理获得的最大总糖果值。每个问题都给出了完整的C++实现代码，涉及字符串处理、数学计算和模拟算法等技术。
算法基础篇：（二十一）数据结构之单调栈：从原理到实战，玩转高效解题
2301_79248256的博客
11-29 1548
本文深入解析了单调栈这一高效数据结构。首先介绍了单调栈的基本概念，即在普通栈的基础上增加元素单调性约束，可分为递增栈和递减栈。接着详细讲解了四种核心应用场景：寻找左右侧最近更大/更小元素，并提供了对应的C++代码实现。通过洛谷P5788等模板题和发射站、柱状图最大矩形等实战案例，展示了单调栈如何将O(n²)问题优化为O(n)解法。最后总结了单调性选择、遍历方向等核心技巧，并给出避免数据溢出、优化IO等实用建议。掌握单调栈能有效解决"找最近最值"类问题，是算法竞赛和面试中的重要工具。
Facet-Aware Multi-Head Mixture-of-Experts Model for Sequential Recommendation
03-08
- **MoE 层 (Mixture of Experts Layers)** : 包含若干并行工作的专家模块以及一个门控机制(Gate Mechanism)，用于决定哪些专家应该被激活参与预测过程；值得注意的是，在这里引入了aspect-aware的概念，意味着不同...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值