Shared-Bottom & MoE & MMoE

最新推荐文章于 2025-11-15 18:01:44 发布
原创 最新推荐文章于 2025-11-15 18:01:44 发布 · 162 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#MTL

Shared-Bottom、MoE、MMoE的结构对比如下：

model

CTR预估 论文精读(十五)--MMOE: Multi-gate Mixture-of-Experts
Dby_freedom的博客
01-03 3066
MMOE: Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts 0. 论文摘要 Neural-based multi-task learning has been successfully used in many real-world large-scale applications such as recommendation systems. For example, in movi
多任务推荐（二）KDD2018｜谷歌多任务推荐模型---MMoE
Blank_Space
05-11 1066
前言这是多任务推荐第二篇，由Google发表在2018年KDD上的论文。最近在尝试如何更为简单的概括论文提出的背景、动机、创新点以及模型结构，并且搭建一个简单的多任务推荐包（MTRec，起...
MMOE,MOE,SHARED-BOTTOM比较
qq_40450969的博客
12-29 1030
mmoe相比于shared-bottom来说，MMOE通过门控网络来显式地建模任务之间的关系，而Shared-bottom则假设所有任务都可以从共享的底层网络中获益。因此，MMOE可能在处理任务关系更复杂的场景中表现更好，而Shared-bottom可能在任务之间存在明显共享特征的情况下表现更好。moe多个专家能够提取到不同的信息，从而帮助提升模型表现。
推荐业务多目标建模算法介绍：MMOE、OMOE、Shared-Bottom
Garvin的专栏
11-23 6678
在推荐业务中经常有“既要、也要、还要”的场景，比如做视频推荐业务的时候既要提升用户对于视频的点击率，也希望同时提升用户观看视频的时长。面对这样的诉求，通常需要在推荐系统中使用多目标建模算法。 多目标建模目前业内有两种模式，一种叫Shared-Bottom模式，另一种叫MOE，MOE又包含MMOE和OMOE两种。MMOE也是Google提出的一套多目标学习算法结果，被应用到了Google的内部推荐系统中，接下来分别介绍下这些多目标算法的结构。 算法结构介绍 上图基本能把Shared-Bottom、O
多目标学习在推荐系统中的应用
u013385018的专栏
03-08 1226
目录 范式一：任务序列依赖模型(ESMM) 不同任务之间有相似性 阿里 范式二：MMoE替换hard parameter sharing (任务之间有差异性) 谷歌 每个任务一个门控网络，共享专家网络 5.3.2 MoE模型 5.3.3 MMoE模型 5.3.4 MMoE的应用 参考文献 范式一：任务序列依赖模型(ESMM) 不同任务之间有相似性 阿里 在推荐系统中不同任务之间通常存在一种序列依赖关系。例如，电商推荐中的多目标预估经常是CTR和CVR，其中转化这个行为只有在点击发生后才.
多任务学习必读：超越Shared-Bottom，谷歌MMoE模型原理解析与实战优势
机器学习，深度学习
11-15 192
而Google在2018年提出的MMoE（Multi-gate Mixture-of-Experts）模型，通过引入多门控机制和专家网络，巧妙解决了这一难题。它不仅能够自动学习任务间的关联程度，还能根据输入特征动态调整参数共享策略，在保持计算效率的同时显著提升模型性能。接下来，我将深入对这篇论文展开全面解读。和以往一样，我会严格依照论文的结构框架，从研究背景、核心论点、实验设计到最终结论，逐一对文章的各个关键部分进行细致剖析 ，力求为大家呈现这篇时间序列预测论文的全貌，挖掘其中的研究价值与创新点。
深度学习 - 45.MMOE && Gate 简单实现 By Keras
BITDDD小栈
04-27 2111
Keras 实现 Multi-gate Mixture-of-Experts [MMoE] 简易结构。
深度学习推荐系统-多目标-MMoE模型
qq_33221657的博客
09-26 1532
共享底层网络：负责提取输入数据的通用特征，这些特征将作为后续门控网络和专家网络的输入专家网络：一组公用的网络，每个网络都是由全连接层构成，用于从不同维度捕捉输入向量的信息；门控网络：为每个任务学习一个门控网络，用于决定哪些专家网络对当前任务更为重要。门控网络的输出是一个权重向量，用于对专家网络的输出进行加权。特定任务网络：专家网络输出乘以各自任务门控网络的权重再进行求和，后分别进入不同任务网络，进行各自的任务学习针对多目标任务，通过专家网络学习多任务间的共性，通过加入门控网络学习单个任务的个性化；
【深度学习】多目标融合算法（二）：底部共享多任务模型（Shared-Bottom Multi-task Model）
人工智能领域博客
01-09 3384
本文从技术原理、技术优缺点方面对推荐系统深度学习多任务多目标“Shared-Bottom Multi-task Model”算法进行讲解，该模型使用深度学习模型对多个任务场景多个目标的业务问题进行建模，使得用户在多个场景连续性行为可以被学习，在现实推荐系统业务中是比较基础的方法，后面本专栏还会陆续介绍MoE、MMoE等多任务多目标算法，期待您的关注和支持。
推荐系统20---MMOE(多任务学习系列1)
weixin_41403341的博客
07-01 720
写完推荐系统8之后，直接来到了推荐系统20，因为工作需要，最近需要先了解多任务方面的文章。那就先从这里开始吧。中间缺的这些，后面慢慢补。下面言归正传，开始引入多任务学习的背景知识：3，排序学习：通过预测两两物品之间相对顺序，或者物品序列之间顺序来解决多目标学习的问题。比如，视频推荐为例，用户观看很长的i视频，点击了j 视频，在假设观看比点击更重要的前提下：假设u代表用户的偏好，则Ui>Uj。有了相对顺序，就可以使用排序学习的方式，融合多个目标，不需要训练多个模型。1，优点：模型简单。
【推荐系统】Multi-gate Mixture-of-Experts(MMoE)
布纸所云
04-21 1857
Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts 论文链接 论文笔记 摘要 为什么提出？ 多任务学习旨在构建单个模型来同时学习多个目标和任务。 但是，通常任务之间的关系会极大地影响多任务模型的预测质量。 因此，学习task-specific objectives和i...
多任务学习MTL-MMOE
u012720552的专栏
09-08 429
References [1]论文 [2]视频简介的youtube地址 [3]keras框架实现的开源地址
【电能质量扰动】基于ML和DWT的电能质量扰动分类方法研究（Matlab实现）
11-24
【电能质量扰动】基于ML和DWT的电能质量扰动分类方法研究（Matlab实现）内容概要：本文研究了基于机器学习（ML）和离散小波变换（DWT）的电能质量扰动分类方法，并提供了Matlab实现代码。首先利用DWT对电能质量信号进行特征提取，有效捕捉电压暂降、暂升、中断、谐波、闪变等常见扰动的时频特性；随后结合多种机器学习分类器（如SVM、BP神经网络、随机森林等）对提取的特征进行训练与分类，构建高效的扰动识别模型。文中详细阐述了信号预处理、特征工程、模型训练与评估的全过程，验证了该方法在多类扰动识别中的准确性与鲁棒性。; 适合人群：具备一定信号处理和机器学习基础知识，从事电力系统、电气工程及相关领域研究的研究生、科研人员及工程技术人员。; 使用场景及目标：①用于电能质量监测系统中对异常信号的自动识别与分类；②为智能电网中的故障诊断与电能质量管理提供技术支持；③作为Matlab仿真实践案例，帮助理解DWT在信号分析中的应用及ML分类器的实现流程。; 阅读建议：建议结合Matlab代码同步运行与调试，深入理解DWT分解过程及特征提取方法，同时可尝试更换不同分类器或优化参数以提升分类性能，进一步拓展至实际数据的应用验证。
Lua字符串替换函数[源码]
11-24
本文介绍了在Lua编程语言中使用string.gsub函数进行字符串替换的方法。string.gsub函数接受三个参数：第一个参数是需要进行替换操作的原始字符串，第二个参数是被替换的子字符串，第三个参数是用于替换的新字符串。通过示例代码展示了如何使用该函数将字符串中的换行符替换为逗号，从而实现对字符串的修改。这对于处理文本数据或格式化输出非常有用。
html5游戏源码一笔画
最新发布
11-24
html5游戏源码一笔画
Win10连接自定义SMB端口[代码]
11-24
本文详细介绍了在Windows 10系统中如何连接使用自定义端口的SMB服务器并进行文件上传的方法。由于SMB协议默认使用的445端口存在安全隐患，许多服务器会禁用该端口并改用自定义端口。文章通过端口转发技术，将本地445端口映射到远程SMB服务器的自定义端口，从而实现安全连接。具体步骤包括：配置端口转发规则、映射网络驱动器、输入凭据连接服务器等操作。最后还提供了传输完成后删除转发规则的注意事项。该方法适用于需要访问带用户名和密码验证的自定义端口SMB服务器的场景。
基于分布式模型预测控制的多个固定翼无人机一致性控制（Matlab代码实现）
11-24
基于分布式模型预测控制的多个固定翼无人机一致性控制（Matlab代码实现）内容概要：本文围绕“基于分布式模型预测控制的多个固定翼无人机一致性控制”展开，采用Matlab代码实现相关算法，属于顶级EI期刊的复现研究成果。文中重点研究了分布式模型预测控制（DMPC）在多无人机系统中的一致性控制问题，通过构建固定翼无人机的动力学模型，结合分布式协同控制策略，实现多无人机在复杂环境下的轨迹一致性和稳定协同飞行。研究涵盖了控制算法设计、系统建模、优化求解及仿真验证全过程，并提供了完整的Matlab代码支持，便于读者复现实验结果。; 适合人群：具备自动控制、无人机系统或优化算法基础，从事科研或工程应用的研究生、科研人员及自动化、航空航天领域的研发工程师；熟悉Matlab编程和基本控制理论者更佳； 使用场景及目标：①用于多无人机协同控制系统的算法研究与仿真验证；②支撑科研论文复现、毕业设计或项目开发；③掌握分布式模型预测控制在实际系统中的应用方法，提升对多智能体协同控制的理解与实践能力； 阅读建议：建议结合提供的Matlab代码逐模块分析，重点关注DMPC算法的构建流程、约束处理方式及一致性协议的设计逻辑，同时可拓展学习文中提及的路径规划、编队控制等相关技术，以深化对无人机集群控制的整体认知。
AutoDL迁移虚拟环境[代码]
11-24
本文详细介绍了如何将AutoDL中的miniconda3虚拟环境从系统盘迁移到数据盘的全过程。首先需要停止所有相关进程，然后移动miniconda3目录到新位置，并修改环境变量配置文件.bashrc和/etc/profile中的路径指向。接着通过source命令使环境变量生效，并检查conda路径是否正确。若遇到问题，需检查系统级配置文件和conda脚本中的路径，并进行相应修改。最后重新初始化conda，确保环境迁移成功。整个过程涵盖了从停止服务、移动目录、修改配置到验证结果的完整步骤，适合需要扩展虚拟环境空间的用户参考。
前端分析-202307110078910
11-24
前端分析-202307110078910
Mixture-of-Experts（MoE
02-06
### Mixture-Experts (MoE) 是一种用于提升神经网络性能的技术，尤其适用于大规模分布式训练环境下的模型扩展。该架构的核心理念在于将多个小型专家子网络组合起来，在不同输入条件下激活特定的子集来处理数据[^1]。 #### 专家层设计 在 MoE 中，整个网络被划分为若干个并行工作的“专家”，每个专家都是独立的小型前馈神经网络。这些专家负责学习不同类型的数据特征，并根据当前样本的特点选择最合适的几个来进行计算。这种机制使得模型能够更加灵活地适应复杂多变的任务需求[^3]。 #### 路由器组件 除了众多的专家外，还有一个重要的组成部分叫做路由器(Router)，它决定了哪些专家应该参与到具体的预测过程中去。具体来说，给定一个输入向量 \( \mathbf{x} \)，路由器会先对其进行编码得到权重分布 \( w_i(\mathbf{x}) \)，再依据此概率分配任务给相应的专家们完成最终输出\[ y=\sum_{i=1}^{N}{w_i(\mathbf{x})f_i(\mathbf{x})}\]。 ```python import torch.nn as nn class Router(nn.Module): def __init__(self, input_dim, num_experts): super().__init__() self.linear = nn.Linear(input_dim, num_experts) def forward(self, x): logits = self.linear(x) weights = F.softmax(logits, dim=-1) return weights ``` ### 应用实例分析 Google 开发的 Switch Transformer 就是一个基于 MoE 思想构建的大规模预训练语言模型。在这个例子中，研究人员利用稀疏门控结构实现了参数数量级上的显著增长而不增加太多额外开销；同时保持了良好的泛化能力和推理效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值