Shared-Bottom & MoE & MMoE

于 2025-05-18 16:02:28 发布
阅读量114 收藏
点赞数 2
文章标签： MTL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/transformer_WSZ/article/details/148045453
版权

Shared-Bottom、MoE、MMoE的结构对比如下：

model

【深度学习】多目标融合算法（二）：底部共享多任务模型（Shared-Bottom Multi-task Model）
人工智能领域博客
01-09 3222
本文从技术原理、技术优缺点方面对推荐系统深度学习多任务多目标“Shared-Bottom Multi-task Model”算法进行讲解，该模型使用深度学习模型对多个任务场景多个目标的业务问题进行建模，使得用户在多个场景连续性行为可以被学习，在现实推荐系统业务中是比较基础的方法，后面本专栏还会陆续介绍MoE、MMoE等多任务多目标算法，期待您的关注和支持。
多任务学习MTL-MMOE
u012720552的专栏
09-08 375
References [1]论文 [2]视频简介的youtube地址 [3]keras框架实现的开源地址
MMOE,MOE,SHARED-BOTTOM比较
qq_40450969的博客
12-29 881
mmoe相比于shared-bottom来说，MMOE通过门控网络来显式地建模任务之间的关系，而Shared-bottom则假设所有任务都可以从共享的底层网络中获益。因此，MMOE可能在处理任务关系更复杂的场景中表现更好，而Shared-bottom可能在任务之间存在明显共享特征的情况下表现更好。moe多个专家能够提取到不同的信息，从而帮助提升模型表现。
推荐业务多目标建模算法介绍：MMOE、OMOE、Shared-Bottom
Garvin的专栏
11-23 6005
在推荐业务中经常有“既要、也要、还要”的场景，比如做视频推荐业务的时候既要提升用户对于视频的点击率，也希望同时提升用户观看视频的时长。面对这样的诉求，通常需要在推荐系统中使用多目标建模算法。 多目标建模目前业内有两种模式，一种叫Shared-Bottom模式，另一种叫MOE，MOE又包含MMOE和OMOE两种。MMOE也是Google提出的一套多目标学习算法结果，被应用到了Google的内部推荐系统中，接下来分别介绍下这些多目标算法的结构。 算法结构介绍 上图基本能把Shared-Bottom、O
深度学习 - 45.MMOE && Gate 简单实现 By Keras
BITDDD小栈
04-27 1890
Keras 实现 Multi-gate Mixture-of-Experts [MMoE] 简易结构。
深度学习推荐系统-多目标-MMoE模型
qq_33221657的博客
09-26 1286
共享底层网络：负责提取输入数据的通用特征，这些特征将作为后续门控网络和专家网络的输入专家网络：一组公用的网络，每个网络都是由全连接层构成，用于从不同维度捕捉输入向量的信息；门控网络：为每个任务学习一个门控网络，用于决定哪些专家网络对当前任务更为重要。门控网络的输出是一个权重向量，用于对专家网络的输出进行加权。特定任务网络：专家网络输出乘以各自任务门控网络的权重再进行求和，后分别进入不同任务网络，进行各自的任务学习针对多目标任务，通过专家网络学习多任务间的共性，通过加入门控网络学习单个任务的个性化；
Multi-gate Mixture-of-Experts（MMoE）
null的专栏
04-07 1534
1. 概述 在工业界经常会面对多个学习目标的场景，如在推荐系统中，除了要给用户推荐刚兴趣的物品之外，一些细化的指标，包括点击率，转化率，浏览时长等等，都会作为评判推荐系统效果好坏的重要指标，不同的是在不同的场景下对不同指标的要求不一样而已。在面对这种多任务的场景，最简单最直接的方法是针对每一个任务训练一个模型，显而易见，这种方式带来了巨大的成本开销，包括了计算成本和存储成本。多任务学习（Multi-task Learning）便由此而生，在多任务学习中，希望通过一个模型可以同时学习多个目标。然而在多任务学习
深度学习 - 44.MMOE 与 Gate 之多目标学习
BITDDD小栈
04-26 1586
Google 多任务学习模型 Multi-gate Mixture-of-Experts。
CTR预估 论文精读(十五)--MMOE: Multi-gate Mixture-of-Experts
Dby_freedom的博客
01-03 2910
MMOE: Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts 0. 论文摘要 Neural-based multi-task learning has been successfully used in many real-world large-scale applications such as recommendation systems. For example, in movi
多任务推荐（二）KDD2018｜谷歌多任务推荐模型---MMoE
Blank_Space
05-11 999
前言这是多任务推荐第二篇，由Google发表在2018年KDD上的论文。最近在尝试如何更为简单的概括论文提出的背景、动机、创新点以及模型结构，并且搭建一个简单的多任务推荐包（MTRec，起...
推荐系统20---MMOE(多任务学习系列1)
weixin_41403341的博客
07-01 648
写完推荐系统8之后，直接来到了推荐系统20，因为工作需要，最近需要先了解多任务方面的文章。那就先从这里开始吧。中间缺的这些，后面慢慢补。下面言归正传，开始引入多任务学习的背景知识：3，排序学习：通过预测两两物品之间相对顺序，或者物品序列之间顺序来解决多目标学习的问题。比如，视频推荐为例，用户观看很长的i视频，点击了j 视频，在假设观看比点击更重要的前提下：假设u代表用户的偏好，则Ui>Uj。有了相对顺序，就可以使用排序学习的方式，融合多个目标，不需要训练多个模型。1，优点：模型简单。
【推荐算法】MMoE模型：Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
长相忆兮长相忆的专栏
12-22 4620
MMoE是谷歌在2018年发表在KDD上的一篇基于多任务学习的经典论文，其使用场景是对不相关任务的多任务学习。在推荐系统中，这些不相关的任务可以示例为：视频流推荐中的CTR、时长、点赞、分享、收藏、评论等相关性不强的多个任务。
【推荐系统】Multi-gate Mixture-of-Experts(MMoE)
布纸所云
04-21 1760
Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts 论文链接 论文笔记 摘要 为什么提出？ 多任务学习旨在构建单个模型来同时学习多个目标和任务。 但是，通常任务之间的关系会极大地影响多任务模型的预测质量。 因此，学习task-specific objectives和i...
剧本杀服务平台（源码、论文、说明文档、数据库文档）.zip
最新发布
06-17
论文、开发文档、数据文档、源码 个人经导师指导并认可通过的高分设计项目，项目中的源码都是经过本地编译过可运行的，都经过严格调试，确保可以运行！主要针对计算机相关专业的正在做大作业、毕业设计的学生和需要项目实战练习的学习者，资源项目的难度比较适中，内容都是经过助教老师审定过的能够满足学习、使用需求，如果有需要的话可以放心下载使用。
AI 人工智能学习计划 AI学习计划 AI学习计划
06-17
AI 人工智能学习计划 AI学习计划 AI学习计划
百度地图GPS导航软件压缩包
06-17
资源下载链接为： https://pan.quark.cn/s/5c50e6120579 在Android移动应用开发中，定位功能扮演着极为关键的角色，尤其是在提供导航、本地搜索等服务时，它能够帮助应用获取用户的位置信息。以“baiduGPS.rar”为例，这是一个基于百度地图API实现定位功能的示例项目，旨在展示如何在Android应用中集成百度地图的GPS定位服务。以下是对该技术的详细阐述。 百度地图API简介 百度地图API是由百度提供的一系列开放接口，开发者可以利用这些接口将百度地图的功能集成到自己的应用中，涵盖地图展示、定位、路径规划等多个方面。借助它，开发者能够开发出满足不同业务需求的定制化地图应用。 Android定位方式 Android系统支持多种定位方式，包括GPS（全球定位系统）和网络定位（通过Wi-Fi及移动网络）。开发者可以根据应用的具体需求选择合适的定位方法。在本示例中，主要采用GPS实现高精度定位。 权限声明 在Android应用中使用定位功能前，必须在Manifest.xml文件中声明相关权限。例如，添加<uses-permission android:name="android.permission.ACCESS_FINE_LOCATION" />，以获取用户的精确位置信息。 百度地图SDK初始化 集成百度地图API时，需要在应用启动时初始化地图SDK。通常在Application类或Activity的onCreate()方法中调用BMapManager.init()，并设置回调监听器以处理初始化结果。 MapView的创建 在布局文件中添加MapView组件，它是地图显示的基础。通过设置其属性（如mapType、zoomLevel等），可以控制地图的显示效果。 定位服务的管理 使用百度地图API的LocationClient类来管理定位服务
个性化音乐推荐系统（源码、论文、说明文档、数据库文档）.zip
06-17
论文、开发文档、数据文档、源码 个人经导师指导并认可通过的高分设计项目，项目中的源码都是经过本地编译过可运行的，都经过严格调试，确保可以运行！主要针对计算机相关专业的正在做大作业、毕业设计的学生和需要项目实战练习的学习者，资源项目的难度比较适中，内容都是经过助教老师审定过的能够满足学习、使用需求，如果有需要的话可以放心下载使用。
《Web开发技术基础》模拟试卷.zip
06-17
《Web开发技术基础》模拟试卷.zip
基于QT5与Qt Creator的多功能计算器界面设计
06-17
资源下载链接为： https://pan.quark.cn/s/c705392404e8 本资源是一款基于QT5开发的多功能计算器界面程序。它具备普通四则运算功能，并且加入了三角函数、反三角函数以及开方、乘方等高级运算功能，同时还附带了详细的说明书。资源中包含了在QT5.61版本下，使用Qt Creator开发的完整源代码。为了方便使用，已经提供了动态发布的程序以及打包好的可执行程序，方便用户直接运行。 此外，程序的底层算法最初是在VS2017的控制台程序中进行测试，经过验证后再移植到QT环境中实现的。因此，资源中也一并分享了VS2017下的源代码，方便开发者参考和学习。 在程序设计方面，本计算器涉及多种数据结构的调用，核心算法采用的是逆波兰算法，这使得它不仅是一款实用的工具，也是一个很好的数据结构学习和实践案例。对于想要深入学习数据结构和算法的开发者来说，这是一个非常有价值的资源。 值得一提的是，QT程序中还预留了一个键盘小界面，但目前尚未实现具体功能。这为后续的改进和扩展提供了空间，开发者可以根据自己的想法进一步完善这个功能。欢迎大家下载本资源，体验其功能并参与改进。
Mixture-of-Experts（MoE
02-06
### Mixture-Experts (MoE) 是一种用于提升神经网络性能的技术，尤其适用于大规模分布式训练环境下的模型扩展。该架构的核心理念在于将多个小型专家子网络组合起来，在不同输入条件下激活特定的子集来处理数据[^1]。 #### 专家层设计 在 MoE 中，整个网络被划分为若干个并行工作的“专家”，每个专家都是独立的小型前馈神经网络。这些专家负责学习不同类型的数据特征，并根据当前样本的特点选择最合适的几个来进行计算。这种机制使得模型能够更加灵活地适应复杂多变的任务需求[^3]。 #### 路由器组件 除了众多的专家外，还有一个重要的组成部分叫做路由器(Router)，它决定了哪些专家应该参与到具体的预测过程中去。具体来说，给定一个输入向量 \( \mathbf{x} \)，路由器会先对其进行编码得到权重分布 \( w_i(\mathbf{x}) \)，再依据此概率分配任务给相应的专家们完成最终输出\[ y=\sum_{i=1}^{N}{w_i(\mathbf{x})f_i(\mathbf{x})}\]。 ```python import torch.nn as nn class Router(nn.Module): def __init__(self, input_dim, num_experts): super().__init__() self.linear = nn.Linear(input_dim, num_experts) def forward(self, x): logits = self.linear(x) weights = F.softmax(logits, dim=-1) return weights ``` ### 应用实例分析 Google 开发的 Switch Transformer 就是一个基于 MoE 思想构建的大规模预训练语言模型。在这个例子中，研究人员利用稀疏门控结构实现了参数数量级上的显著增长而不增加太多额外开销；同时保持了良好的泛化能力和推理效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值