排序02 Multi-gate Mixture-of-Experts (MMoE)

最新推荐文章于 2025-07-20 12:45:35 发布
原创 最新推荐文章于 2025-07-20 12:45:35 发布 · 282 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法

MMoE: 不一定适合业务场景

输入向量（包含四种特征）到三个神经网络（专家），不共享参数。实践中超参数专家神经网络个数需要调，会尝试4个或者8个专家。

左边另一个神经网络softmax输出的向量，三个元素均为正数，合为1，作为权重，计算x1 x2 x3 的加权平均。

右边的一样输出作为权重。

极化现象：没有融合多个专家

【推荐系统】Multi-gate Mixture-of-Experts(MMoE)
布纸所云
04-21 1767
Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts 论文链接 论文笔记 摘要 为什么提出？ 多任务学习旨在构建单个模型来同时学习多个目标和任务。 但是，通常任务之间的关系会极大地影响多任务模型的预测质量。 因此，学习task-specific objectives和i...
论文阅读-Multi-gate Mixture-of-Experts(MMOE)
铁锹的填坑记录
09-27 898
MMOE Tittle 总结： 针对的问题： 多任务学习，目的是通过构建一个模型，能够用在不同目标或者任务上。但是这种模型的预测质量往往对于任务之间的关系很敏感。 产生的新想法： 提出了Multi-gate Mixture-of-Experts(MMoE)， 多门控制的混合专家网络。在MoE(专家网络)的基础上，通过在任务间共享专家网络的子模型，来使MoE适应多任务学习。 例如，在电影推荐系统中，通常需要同时优化多个目标，例如同时预测用户的购买率、用户的打分等。 研究表明迁移学习可以通过
Multi-gate Mixture-of-Experts（MMoE）
null的专栏
04-07 1583
1. 概述 在工业界经常会面对多个学习目标的场景，如在推荐系统中，除了要给用户推荐刚兴趣的物品之外，一些细化的指标，包括点击率，转化率，浏览时长等等，都会作为评判推荐系统效果好坏的重要指标，不同的是在不同的场景下对不同指标的要求不一样而已。在面对这种多任务的场景，最简单最直接的方法是针对每一个任务训练一个模型，显而易见，这种方式带来了巨大的成本开销，包括了计算成本和存储成本。多任务学习（Multi-task Learning）便由此而生，在多任务学习中，希望通过一个模型可以同时学习多个目标。然而在多任务学习
一文看懂推荐系统：排序02：Multi-gate Mixture-of-Experts (MMoE)
weixin_46838716的博客
08-22 4125
如果你们公司没有用MMOE，很可能是尝试之后发现没有提升。
推荐系统（十五）多任务学习：谷歌MMoE（Multi-gate Mixture-of-Experts ）
天泽28的专栏
03-19 2万+
如果又有多个目标，多个tower之间的相关性并不是很强，比如，CTR、点赞、时长、完播、分享等，并且有的目标的数据量并不是很足够，甚至无法单独训练一个DNN（当然，你如果说我单独建模用xgb，那我无话可说），在这种情况下，我们可能就要考虑MTL了，这时候MMoE就可以派上用场了。值得一提的是，MMoE是谷歌发表在KDD'18上的，和阿里的ESMM同年发表，所以相互之间应该独立的两个工作。
【多模态】Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts 论文阅读及代码解析
qq_36643449的博客
05-18 675
一、MoE简介 MMoE是在MoE的基础之上，引入多任务而来，关于MoE的相关解读，可以参考我的另一篇博客：【论文阅读】Adaptive Mixtures of Local Experts 二、MMoE简介 关于MMoE的论文阅读在我的另一篇博客中已经讲到，具体可以参考：【推荐算法论文阅读】Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts MMoE的模型结构如下图（c）所示： MMo
多任务学习模型详解：Multi-gate Mixture-of-Experts（MMoE ，Google，KDD2018）
ty44111144ty的博客
08-11 2万+
原文地址：多任务学习模型详解：Multi-gate Mixture-of-Experts（MMoE ，Google，KDD2018），首发微信公众号，现在转到优快云上~ 欢迎关注我的公众号，微信搜algorithm_Tian或者扫下面的二维码~ 现在保持每周更新的频率，内容都是机器学习相关内容和读一些论文的笔记，欢迎一起讨论学习~ 上篇文章介绍多任务学习的背景知识，其中提到了相关任...
【推荐算法】MMoE模型：Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
长相忆兮长相忆的专栏
12-22 4680
MMoE是谷歌在2018年发表在KDD上的一篇基于多任务学习的经典论文，其使用场景是对不相关任务的多任务学习。在推荐系统中，这些不相关的任务可以示例为：视频流推荐中的CTR、时长、点赞、分享、收藏、评论等相关性不强的多个任务。
【多任务学习】Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts KDD18
chadlee
07-25 469
在模型层面理解，我们在单目标中经常会花费大量的精力“找强特征”和“删冗余特征”输入到模型，提高模型效果。那么切换到MTL时，每个task所需要的“强特”和排斥的“负特”是不同的，MTL的目的就是对每个task尽可能的找到他们的强特和负特。在优化层面理解，多个task同时优化模型，某些task会主导了模型的优化过程，淹没了其他task。从监督信号的角度理解，MTL不仅仅是任务，也是一种数据扩增，相当于每个task多了k-1个监督信号来辅助学习，一些特征可以从其他task学的更好。...
混合专家模型 Mixture-of-Experts (MoE)
noobiee的博客
10-22 7983
比如在MoE论文的一些实验中，作者采用了n=512，k=2的设定，也就是每次只会从512个专家网络中挑选两个来激活。每个专家模型都是相对独立的，可以根据任务的需求选择不同的模型架构。通过稀疏模型MoE扩大大语言模型的方法：以GLaM模型为例，它包含1.2T个参数，但实际上被激活的参数（activated parameters）只有97B，远少于GPT-3，也就是说，它是稀疏激活的MoE。第二个变动是加了noise，这个的目的是为了做均衡，这里引入了一个Wnoise的参数，后面还会在损失函数层面进行改动。
Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer
06-23
神经网络吸收信息的能力受限于其参数的数量。在这篇论文中，我们提出一种新类型的层——稀疏门控专家混合层（Sparsely-Gated Mixture-of-Experts(MoE)），它能够在仅需增加一点计算的基础上被用于有效提升模型的能力。这种层包含了多达数万个前向的子网络（feed-forward sub-networks，被称为专家（expert）），总共包含了多达数百亿个参数。一个可训练的门网络（gating network）可以确定这些专家的稀疏组合以用于每一个样本。我们将这种 MoE 应用到了语言建模任务上——在这种任务中，模型能力对吸收训练语料库中可用的大量世界知识而言是至关重要的。我们提出了将 MoE 层注入堆叠 LSTM（stacked LSTM）的新型语言模型架构，得到的模型的可用参数数量可比其它模型多几个数量级。在语言建模和机器翻译基准上，我们在更低的成本上实现了可与当前最佳表现媲美或更好的结果，其中包括在 1 Billion Word Language Modeling Benchmark 上测得的 29.9 的困惑度（perplexity），以及在 WMT'14 En to Fr（英法翻译）和 En to De（英德翻译）上分别得到了 40.56 和 26.03 的 BLEU 分数。
多专家模型(mixture of experts)
热门推荐
算法改变人生
06-02 2万+
Mixtures of experts 本小节介绍多专家模型（the mixture of experts model），该模型的思想是训练多个神经网络（也就是多个专家），每个神经网络（专家）被指定（specialize）应用于数据集的不同部分。这就是说，数据集可能有着多个不同的来源（different regimes，意思是说数据集中的数据的产生方式不同，这里我翻译成了“不同的来源”），不
多任务学习论文导读: Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
fanzitao的专栏
02-05 1691
基于神经网络的大规模多任务学习在产业界有广泛的应用，例如推荐系统。为什么现在的推荐系统会追求多任务呢？以头条类的新闻推荐为例，如果只追求点击率，那么标题党会大行其道，所以一般还会把阅读时长也作为一个目标。再比如短视频推荐，平台方更希望给用户带来更好的体验，例如长时间播放、点赞、高评分等。因此，我们可能需要针对多个目标进行建模，追求多目标之间的平衡或者共赢。 借助多任务学习，我们的目标是构建一个统...
CTR预估 论文精读(十五)--MMOE: Multi-gate Mixture-of-Experts
Dby_freedom的博客
01-03 2935
MMOE: Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts 0. 论文摘要 Neural-based multi-task learning has been successfully used in many real-world large-scale applications such as recommendation systems. For example, in movi
Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts [KDD 2018] [MM
DrWells的博客
08-04 1101
论文链接： :http://delivery.acm.org/10.1145/3230000/3220007/p1930-ma.pdf?ip=203.12.205.218&id=3220007&acc=OA&key=4D4702B0C3E38B35.4D4702B0C3E38B35.4D4702B0C3E38B35.5945DC2EABF3343C&acm=1564...
Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
dawnyi_yang的博客
10-24 1057
前言 这篇是很久以前学习过的文章，但更多的是从使用代码的角度去学习，对文章的写作方法和结构并没有仔细的研究。现在借着做项目的机会，重新回顾这篇文章，并更多的从学习写作的方面进行阅读。 摘要 多任务学习是建立一个能够完成多个目标和任务的单一模型，重点工作在于研究模型目标和任务之间的相互关系。因此文章提出了一种多门混合专家多任务学习模型MMoE，可以学习任务之间的关系，同时具有门控网络来优化每项任务。实验表明，该模型在关联性较小的任务上表现较好，也可根据训练数据和模型初始化中不同程度的随机性，产生额外的可训练性
【PTA数据结构 | C语言版】堆中的路径
最新发布
等风来
07-20 268
将一系列给定数字插入一个初始为空的最小堆 h。随后对任意给定的下标 i，打印从第 i 个结点到根结点的路径。输入格式:每组测试第 1 行包含 2 个正整数 n 和 m (≤10^3)，分别是插入元素的个数、以及需要打印的路径条数。下一行给出区间 [−10^4,10^4] 内的 n 个要被插入一个初始为空的小顶堆的整数。最后一行给出 m 个下标。输出格式:对输入中给出的每个下标 i，在一行中输出从第 i 个结点到根结点的路径上的数据。数字间以 1 个空格分隔，行末不得有多余空格。
算法-模拟
s15335的博客
07-16 422
模拟算法其实就是根据题目做，。一些复杂的模拟题其实还是把一些简单的操作组合了一下，所以模拟题是最锻炼耐心的，也是训练编码能力的最好的暴力算法。对于模拟题而言，模拟题的常见数据结构主要就是:数组、字符串、矩阵、链表、二叉树等等。，或者说混合算法，比如排序、递归、迭代等等。
代码随想录算法训练营第五十一天|图论part2
xindafu的博客
07-16 848
先将岛屿数据存储到二维矩阵，遍历二维矩阵，遇到1，则统计数量+1，然后将该岛屿四个方向的岛屿都标为已访问。找到一个岛屿 然后用广度或者深度优先搜索去遍历周围相连的岛屿，每有一个相连，面积加1。while队列不为空，获取队首节点，处理当前节点逻辑，符合条件的入队。新建一个队列，当前节点入队，100.岛屿的最大面积。
Facet-Aware Multi-Head Mixture-of-Experts Model for Sequential Recommendation
03-08
- **MoE 层 (Mixture of Experts Layers)** : 包含若干并行工作的专家模块以及一个门控机制(Gate Mechanism)，用于决定哪些专家应该被激活参与预测过程；值得注意的是，在这里引入了aspect-aware的概念，意味着不同...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值