排序02 Multi-gate Mixture-of-Experts (MMoE)

最新推荐文章于 2025-07-23 09:00:03 发布
最新推荐文章于 2025-07-23 09:00:03 发布
阅读量282 收藏
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 推荐系统 文章标签： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/DEVIL_hym/article/details/143128849

MMoE: 不一定适合业务场景

输入向量（包含四种特征）到三个神经网络（专家），不共享参数。实践中超参数专家神经网络个数需要调，会尝试4个或者8个专家。

左边另一个神经网络softmax输出的向量，三个元素均为正数，合为1，作为权重，计算x1 x2 x3 的加权平均。

右边的一样输出作为权重。

极化现象：没有融合多个专家

【推荐系统】Multi-gate Mixture-of-Experts(MMoE)
布纸所云
04-21 1770
Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts 论文链接 论文笔记 摘要 为什么提出？ 多任务学习旨在构建单个模型来同时学习多个目标和任务。 但是，通常任务之间的关系会极大地影响多任务模型的预测质量。 因此，学习task-specific objectives和i...
论文阅读-Multi-gate Mixture-of-Experts(MMOE)
铁锹的填坑记录
09-27 898
MMOE Tittle 总结： 针对的问题： 多任务学习，目的是通过构建一个模型，能够用在不同目标或者任务上。但是这种模型的预测质量往往对于任务之间的关系很敏感。 产生的新想法： 提出了Multi-gate Mixture-of-Experts(MMoE)， 多门控制的混合专家网络。在MoE(专家网络)的基础上，通过在任务间共享专家网络的子模型，来使MoE适应多任务学习。 例如，在电影推荐系统中，通常需要同时优化多个目标，例如同时预测用户的购买率、用户的打分等。 研究表明迁移学习可以通过
Multi-gate Mixture-of-Experts（MMoE）
null的专栏
04-07 1587
1. 概述 在工业界经常会面对多个学习目标的场景，如在推荐系统中，除了要给用户推荐刚兴趣的物品之外，一些细化的指标，包括点击率，转化率，浏览时长等等，都会作为评判推荐系统效果好坏的重要指标，不同的是在不同的场景下对不同指标的要求不一样而已。在面对这种多任务的场景，最简单最直接的方法是针对每一个任务训练一个模型，显而易见，这种方式带来了巨大的成本开销，包括了计算成本和存储成本。多任务学习（Multi-task Learning）便由此而生，在多任务学习中，希望通过一个模型可以同时学习多个目标。然而在多任务学习
一文看懂推荐系统：排序02：Multi-gate Mixture-of-Experts (MMoE)
weixin_46838716的博客
08-22 4141
如果你们公司没有用MMOE，很可能是尝试之后发现没有提升。
推荐系统（十五）多任务学习：谷歌MMoE（Multi-gate Mixture-of-Experts ）
天泽28的专栏
03-19 2万+
如果又有多个目标，多个tower之间的相关性并不是很强，比如，CTR、点赞、时长、完播、分享等，并且有的目标的数据量并不是很足够，甚至无法单独训练一个DNN（当然，你如果说我单独建模用xgb，那我无话可说），在这种情况下，我们可能就要考虑MTL了，这时候MMoE就可以派上用场了。值得一提的是，MMoE是谷歌发表在KDD'18上的，和阿里的ESMM同年发表，所以相互之间应该独立的两个工作。
【多模态】Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts 论文阅读及代码解析
qq_36643449的博客
05-18 675
一、MoE简介 MMoE是在MoE的基础之上，引入多任务而来，关于MoE的相关解读，可以参考我的另一篇博客：【论文阅读】Adaptive Mixtures of Local Experts 二、MMoE简介 关于MMoE的论文阅读在我的另一篇博客中已经讲到，具体可以参考：【推荐算法论文阅读】Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts MMoE的模型结构如下图（c）所示： MMo
多任务学习模型详解：Multi-gate Mixture-of-Experts（MMoE ，Google，KDD2018）
ty44111144ty的博客
08-11 2万+
原文地址：多任务学习模型详解：Multi-gate Mixture-of-Experts（MMoE ，Google，KDD2018），首发微信公众号，现在转到优快云上~ 欢迎关注我的公众号，微信搜algorithm_Tian或者扫下面的二维码~ 现在保持每周更新的频率，内容都是机器学习相关内容和读一些论文的笔记，欢迎一起讨论学习~ 上篇文章介绍多任务学习的背景知识，其中提到了相关任...
【推荐算法】MMoE模型：Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
长相忆兮长相忆的专栏
12-22 4684
MMoE是谷歌在2018年发表在KDD上的一篇基于多任务学习的经典论文，其使用场景是对不相关任务的多任务学习。在推荐系统中，这些不相关的任务可以示例为：视频流推荐中的CTR、时长、点赞、分享、收藏、评论等相关性不强的多个任务。
【多任务学习】Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts KDD18
chadlee
07-25 469
在模型层面理解，我们在单目标中经常会花费大量的精力“找强特征”和“删冗余特征”输入到模型，提高模型效果。那么切换到MTL时，每个task所需要的“强特”和排斥的“负特”是不同的，MTL的目的就是对每个task尽可能的找到他们的强特和负特。在优化层面理解，多个task同时优化模型，某些task会主导了模型的优化过程，淹没了其他task。从监督信号的角度理解，MTL不仅仅是任务，也是一种数据扩增，相当于每个task多了k-1个监督信号来辅助学习，一些特征可以从其他task学的更好。...
混合专家模型 Mixture-of-Experts (MoE)
noobiee的博客
10-22 8011
比如在MoE论文的一些实验中，作者采用了n=512，k=2的设定，也就是每次只会从512个专家网络中挑选两个来激活。每个专家模型都是相对独立的，可以根据任务的需求选择不同的模型架构。通过稀疏模型MoE扩大大语言模型的方法：以GLaM模型为例，它包含1.2T个参数，但实际上被激活的参数（activated parameters）只有97B，远少于GPT-3，也就是说，它是稀疏激活的MoE。第二个变动是加了noise，这个的目的是为了做均衡，这里引入了一个Wnoise的参数，后面还会在损失函数层面进行改动。
Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer
06-23
神经网络吸收信息的能力受限于其参数的数量。在这篇论文中，我们提出一种新类型的层——稀疏门控专家混合层（Sparsely-Gated Mixture-of-Experts(MoE)），它能够在仅需增加一点计算的基础上被用于有效提升模型的能力。这种层包含了多达数万个前向的子网络（feed-forward sub-networks，被称为专家（expert）），总共包含了多达数百亿个参数。一个可训练的门网络（gating network）可以确定这些专家的稀疏组合以用于每一个样本。我们将这种 MoE 应用到了语言建模任务上——在这种任务中，模型能力对吸收训练语料库中可用的大量世界知识而言是至关重要的。我们提出了将 MoE 层注入堆叠 LSTM（stacked LSTM）的新型语言模型架构，得到的模型的可用参数数量可比其它模型多几个数量级。在语言建模和机器翻译基准上，我们在更低的成本上实现了可与当前最佳表现媲美或更好的结果，其中包括在 1 Billion Word Language Modeling Benchmark 上测得的 29.9 的困惑度（perplexity），以及在 WMT'14 En to Fr（英法翻译）和 En to De（英德翻译）上分别得到了 40.56 和 26.03 的 BLEU 分数。
多专家模型(mixture of experts)
热门推荐
算法改变人生
06-02 2万+
Mixtures of experts 本小节介绍多专家模型（the mixture of experts model），该模型的思想是训练多个神经网络（也就是多个专家），每个神经网络（专家）被指定（specialize）应用于数据集的不同部分。这就是说，数据集可能有着多个不同的来源（different regimes，意思是说数据集中的数据的产生方式不同，这里我翻译成了“不同的来源”），不
多任务学习论文导读: Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
fanzitao的专栏
02-05 1693
基于神经网络的大规模多任务学习在产业界有广泛的应用，例如推荐系统。为什么现在的推荐系统会追求多任务呢？以头条类的新闻推荐为例，如果只追求点击率，那么标题党会大行其道，所以一般还会把阅读时长也作为一个目标。再比如短视频推荐，平台方更希望给用户带来更好的体验，例如长时间播放、点赞、高评分等。因此，我们可能需要针对多个目标进行建模，追求多目标之间的平衡或者共赢。 借助多任务学习，我们的目标是构建一个统...
CTR预估 论文精读(十五)--MMOE: Multi-gate Mixture-of-Experts
Dby_freedom的博客
01-03 2941
MMOE: Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts 0. 论文摘要 Neural-based multi-task learning has been successfully used in many real-world large-scale applications such as recommendation systems. For example, in movi
Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts [KDD 2018] [MM
DrWells的博客
08-04 1102
论文链接： :http://delivery.acm.org/10.1145/3230000/3220007/p1930-ma.pdf?ip=203.12.205.218&id=3220007&acc=OA&key=4D4702B0C3E38B35.4D4702B0C3E38B35.4D4702B0C3E38B35.5945DC2EABF3343C&acm=1564...
Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
dawnyi_yang的博客
10-24 1058
前言 这篇是很久以前学习过的文章，但更多的是从使用代码的角度去学习，对文章的写作方法和结构并没有仔细的研究。现在借着做项目的机会，重新回顾这篇文章，并更多的从学习写作的方面进行阅读。 摘要 多任务学习是建立一个能够完成多个目标和任务的单一模型，重点工作在于研究模型目标和任务之间的相互关系。因此文章提出了一种多门混合专家多任务学习模型MMoE，可以学习任务之间的关系，同时具有门控网络来优化每项任务。实验表明，该模型在关联性较小的任务上表现较好，也可根据训练数据和模型初始化中不同程度的随机性，产生额外的可训练性
枚举右，维护左基础篇
最新发布
m0_68367618的博客
07-23 351
本文总结了力扣题单中基于双变量问题的通用解法模板。核心思路是：通过维护已遍历区间（使用哈希表、集合或滑动窗口），枚举未遍历区间来优化双变量问题。
力扣-300.最长递增子序列
weixin_46878941的博客
07-22 440
小结：注意最长递增子序列可能不包含最后一个值，所以要用一个变量记录。
数组题目总结 前缀和草稿
weixin_47868976的博客
07-21 636
前缀和数组用于快速 频繁地计算一个索引区间内的元素之和！（还有么？深入说说！例题303要是没学过 前缀和那也简单 就累加呗！这个解法每次调用 sumRange 函数时，都要进行一次 for 循环遍历，时间复杂度为ONO(N)，而 sumRange 的调用频率可能非常高，所以这个算法的效率很低。正确的解法是使用前缀和技巧进行优化，使得 sumRange 函数的时间复杂度为O1(上面代码换成cpp！一维的很容易理解！类比一维求区间和。
Facet-Aware Multi-Head Mixture-of-Experts Model for Sequential Recommendation
03-08
### 面向方面的多头混合专家模型在顺序推荐系统中的实现与应用 #### 模型概述 面向方面（Facet-Aware）的多头混合专家(Mixture-of-Experts, MoE)模型旨在通过捕捉不同用户行为模式下的特定偏好来提高个性化推荐的效果。该方法利用多个子网络（即专家），每个专注于处理不同类型的信息片段或特征集，从而能够更细致地区分用户的兴趣点[^1]。 #### 架构设计 此架构由以下几个主要组件构成： - **输入层**: 接收来自序列化交互数据流作为输入； - **嵌入层(Embedding Layer)**: 将离散特征转换成连续空间内的低维表示形式； - **MoE 层 (Mixture of Experts Layers)** : 包含若干并行工作的专家模块以及一个门控机制(Gate Mechanism)，用于决定哪些专家应该被激活参与预测过程；值得注意的是，在这里引入了aspect-aware的概念，意味着不同的专家可以针对具体的应用场景学习到更加专业的知识； - **融合层(Aggregation Layer)** ：负责汇总各个活跃状态下的专家输出结果，并最终形成整体性的评分估计值； - **损失函数(Loss Function)** 和优化器(Optimizer): 定义目标并通过反向传播调整参数以最小化误差。 ```python import torch.nn as nn from transformers import BertModel class FacetAwareMHMoERecommender(nn.Module): def __init__(self, num_experts=8, hidden_size=768, aspect_embeddings=None): super().__init__() self.bert = BertModel.from_pretrained('bert-base-uncased') self.expert_layers = nn.ModuleList([nn.Linear(hidden_size, hidden_size) for _ in range(num_experts)]) self.gate_layer = nn.Linear(hidden_size, num_experts) self.aspect_embedding = nn.Embedding(len(aspect_embeddings), hidden_size) def forward(self, input_ids, attention_mask, aspects): bert_output = self.bert(input_ids=input_ids, attention_mask=attention_mask)[0][:, 0, :] gate_weights = nn.functional.softmax(self.gate_layer(bert_output), dim=-1) expert_outputs = [expert(bert_output + self.aspect_embedding(aspects)) for expert in self.expert_layers] output = sum(w * o for w, o in zip(gate_weights.unbind(-1), expert_outputs)) return output ``` 上述代码展示了如何构建这样一个基于BERT预训练语言模型初始化编码部分，并结合自定义的MoE结构来进行物品推荐的任务实例。其中`aspects`代表了当前会话所涉及的具体领域或者话题类别信息，这有助于增强系统的理解和响应能力。 #### 使用说明 为了有效部署这个框架，开发者需要准备如下资源： - 用户历史记录及其对应的标签/评价分数； - 文本描述或者其他辅助材料帮助理解上下文环境； - 明确划分好的方面列表，以便于指导各路专家的学习方向。 完成准备工作之后，按照常规机器学习项目流程执行即可——先对全量样本做初步探索分析，接着依据业务需求选取合适的评估指标体系开展实验验证工作直至找到最优配置方案为止。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值