Hybrid Embedding：蚂蚁集团万亿参数稀疏 CTR 模型解决方案

最新推荐文章于 2025-12-04 15:03:47 发布
原创 最新推荐文章于 2025-12-04 15:03:47 发布 · 232 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#embedding #人工智能 #ai #云计算 #团队开发 #算法

文章介绍了蚂蚁AIInfra团队在TFPlus项目中提出的HybridEmbedding方案，以应对大规模稀疏CTR模型的存储和通信开销。该方案结合NVMeSSD和层次化存储，解决了传统内存参数服务器的不足，通过冷热特征划分和动态缓存管理优化了资源使用。HybridEmbedding已在蚂蚁推荐场景中应用，显著节省了内存资源。

导读

稀疏 CTR 模型是用于预测点击率的一类深度学习模型的统称。通过处理高维稀疏特征数据实现高效的广告点击率预测，准确的 CTR 预测可以更好地进行广告投放决策，提升广告投放效果。在稀疏 CTR 模型场景下，通常使用大量高维稀疏特征，这类 Embedding 矩阵造成了巨大的存储开销。本文介绍了蚂蚁 AI Infra 团队在 TFPlus 项目中提出的 Hybrid Embedding 方案，以应对海量 Embedding 带来的存储资源、特征治理方面的挑战。

背景

在实际场景中，稀疏 CTR 模型会使用大量高维稀疏特征，如商品 ID、用户 ID 等，这些特征的取值可能非常稀疏。处理这样的稀疏 Embedding 矩阵需要引入巨量的存储和通信开销。实际场景中，稀疏层参数可达千亿甚至万亿，给系统设计带来巨大挑战。

由于传统的 TensorFlow Variable 存在静态 Shape 难以预估、特征冲突等问题，TFPlus 引擎基于 TensorFlow 的自定义算子的扩展能力，实现了 KvVariable 内存参数服务器。KvVariable 采用分布式哈希存储方案，针对稀疏 CTR 模型的超大 Embedding 层进行了一系列优化，如配合 DLRover 支持 Embedding 层的弹性扩缩容，增量更新方式提升模型上线速度，提供了特征裁剪、特征淘汰等能力。

在蚂蚁的推荐场景，KvVariable 内存参数服务器得到了广泛的应用，具体方案如下：

  1. 训练：采用了数据并行和模型并行的方式，并基于“有分片，无副本” （With-sharding，No-replica） 架构。多个 worker 节点进行异步的数据并行计算，负责执行深度神经网络的前向传播和反向传播计算；多个 ps 节点进行模型并行计算，负责稀疏 Embedding 参数的分片存储、收集汇总梯度以及参数的更新。

  2. 推理：采用了“无分片、有副本” （No-sharding，With-replicas） 架构。在这种架构中，不对稀疏 CTR 模型的

最低0.47元/天 解锁文章
AI_Infra
关注
Langchain-Chatchat本地部署的解决方案
herosunly的博客
08-28 17万+
本文主要介绍了Langchain-Chatchat本地部署的解决方案，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 3. 启动xinference 4. 启动Langchain-Chatchat
文本嵌入技术Text Embedding模型详解：text2vec、OpenAI ada-002到M3E及BGE-M3的演变
丨汀、的博客
09-03 2346
文本嵌入技术Text Embedding模型详解：text2vec、OpenAI ada-002到M3E及BGE-M3的演变
AI 检索增强生成(RAG)之组件构成解析
achenbusi的博客
07-08 1167
检索增强生成(RAG)技术通过将外部知识检索与生成模型深度融合，有效解决了大语言模型的幻觉问题和知识滞后问题，成为企业AI落地的关键技术。从基础的"检索-生成"架构到融合知识图谱的KAG系统，RAG技术正在快速演进，不断提升检索精度和推理能力。选择合适的向量数据库、优化分块与检索策略、设计高效的提示模板，是构建高性能RAG系统的核心要素。随着多模态融合、智能体协作等技术的发展，RAG将在更多领域展现出强大的应用价值，推动AI技术向更智能、更可靠的方向发展。
SIGIR2019|基于注意力机制的新型深度学习模型(采莓树模型BIRD,已开源)
hestendelin的专栏
12-30 887
Finding Camouflaged Needle in a Haystack? PornographicProducts Detection via Berrypicking Tr...
2024 推荐系统论文汇总
卢之
01-08 1万+
对2024年的 推荐系统论文进行一波收集，给各位初学者和算法大佬作为灵感来源，后续专栏会继续更新论文解读，根据评论不断补充，欢迎大家三连~
知识图谱辅助的个性化推荐系统
datayx的文章
03-13 5039
向AI转型的程序员都关注了这个号????????????机器学习AI算法工程 公众号：datayx本文主要包括以下内容：推荐系统的基础知识知识图谱辅...
深度CTR之Graph Embedding：阿里电商推荐中亿级商品的Graph Embedding
数据之美的博客
02-29 2896
文章目录介绍框架基于用户历史行为的 Item Graph的构建基本的Graph Embedding使用辅助信息的Graph Embedding使用辅助信息的增强型Graph Embedding实验离线评估在线A/B测Case Study系统部署和操作总结和未来展望 介绍 阿里巴巴团队发表于KDD 2018，阿里的推荐系统是按照mathching + ranking的两步策略，本问是解决的match...
KeyError: ‘qwen3‘解决方案
热门推荐
weixin_43178406的博客
07-01 2万+
本文主要介绍了KeyError: 'qwen3’解决方案，希望能对使用Qwen3大模型的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
RAG优化实战：业务场景驱动的 Embedding 模型量化评估
herosunly的博客
10-11 2万+
本文详细介绍了RAG优化实战：业务场景驱动的 Embedding 模型量化评估，希望能对学习RAG的同学们有所帮助。 文章目录 1. 前言 2. 构建测评数据集 3. 让候选模型“同台竞技” 4. 计算和比较相关性
TensorRT笔记（5）：研究timingCache
ouliten的博客
12-02 933
在里出现了大量的timingCache，但是当时没有取研究这是干啥的，本文就来解析一下。样例都基于上面的文章。
大模型应用：大模型 MapReduce 全解析：核心概念、中文语料示例实现.12
minhuan的专栏
12-03 1059
本文介绍了MapReduce编程模型及其在大模型训练中的应用。MapReduce通过"分治-并行-聚合"思想处理大规模数据，传统Hadoop MapReduce侧重结构化数据计算，而大模型MapReduce则针对自然语言处理任务。文章详细对比了两者在架构、处理对象和核心算力等方面的差异，并提供了中文词频统计的Python实现示例，包括单机版和分布式版本。分布式实现利用多进程模拟集群计算，展示了数据分片、Map、Shuffle和Reduce的完整流程。
07_Spring AI 干货笔记之提示词
在科技的浪潮中，我们寻找着创新的火种，在代码的海洋里，我们编织着智慧的网。腾飞开源，就是这样一个由技术精英汇聚而成的博客平台，我们致力于分享在Java、Python、IoT和人工智能等领域的最新研究成果和实战经验。 在腾飞开源的博客上，你会看到紧跟技术前
11-30 1851
本文详细介绍了Spring AI中的提示词核心概念与API设计。提示词作为引导AI模型生成特定输出的关键输入，其结构从简单字符串演进为包含多角色消息的复杂形式。Spring AI通过Prompt和Message接口提供结构化提示词管理，支持系统、用户、助手等角色分配。PromptTemplate类实现动态内容渲染，并支持自定义模板引擎。文章还涵盖提示词工程的最佳实践与令牌机制，为开发者提供完整的提示词设计解决方案。
LMM-Det：让大型多模态模型在目标检测中脱颖而出
AI浩
12-01 1313
大型多模态模型因其在多模态理解、推理和上下文学习等方面的卓越能力，在人工智能研究和工业界引起了广泛的关注和兴趣。虽然 LMM 在图像描述、视觉问答和视觉定位等多模态任务上已展现出有前景的结果，但其目标检测能力与专业检测器相比仍存在显著差距。为弥补这一差距，我们摒弃了将重型检测器与 LMM 集成的传统方法，提出了 LMM-Det，这是一种简单而有效的方法，它利用大型多模态模型进行纯目标检测，而无需依赖专门的检测模块。
昇腾平台 vLLM 部署与性能优化实战：高吞吐推理落地指南
二哈喇子！
12-01 1万+
昇腾平台vLLM部署与性能优化实战摘要
【AI是否能替代IT从业者？】
博文致力于人工智能算法的探索研究；前后端分离项目的技术分享交流；专升本计算机基础课程内容讲解；各种中间件技术分享
12-03 855
2025年IT行业面临AI深度重构：基础开发、测试、运维岗位替代率超60%，但AI相关新兴岗位激增380%。人类在复杂系统设计、伦理决策和跨界融合领域仍具不可替代性。微软等企业实践显示，人机协作可使效率提升40%。从业者需转型高价值领域（如Agent开发、大模型工程），掌握"技术+领域"双轨能力。AI本质是职业生态重构器，持续学习者的薪资溢价可达150%。建议立即评估岗位AI暴露指数，优先学习分布式架构优化、多智能体开发等技能。
建筑数字孪生与AI：工地数据化与智能决策解析
Azhiyuanshijie的博客
12-04 187
数字孪生整合BIM模型、无人机影像、传感器数据，构建工地虚拟模型。施工状态、材料使用、设备运行数据被实时采集，支撑预测与优化。服务，将算法嵌入实际施工管理系统，实现数据采集、分析、优化和决策闭环。系统可与BIM、ERP集成，形成完整数字孪生解决方案。通过虚拟映射和AI算法，施工过程从经验驱动转向数据驱动。数字孪生+AI，让工地变成“数据实验室”，提升效率、降低风险，并推动建筑企业迈向智能化时代。，企业可展示施工技术实力，实现品牌影响力和潜在客户转化。：AI提出最优施工方案，提升效率和安全。
AI时代新合同系统_07_未来形态_对话框与工厂装配
最新发布
sxwuyanzu的博客
12-04 393
如果你把今天常见的合同系统截图打印出来，放在三五年后的会议室里，可能会引来一种略带怀旧的笑声：「那时候我们还在点菜单，真可爱。屏幕上是一排排熟悉的导航栏：合同登记、流程审批、模版管理、台账查询、统计报表。每个入口规整、克制，像一座老式机关里的科室牌匾。那时的你习以为常，如今的你却会觉得，它们似乎更多是为系统本身而设计，而不是为正在为合同奔波的人而设计。而那时桌上的另一块屏幕，或许只剩下一条对话框和几个简洁的卡片：「我想用对方提供的模板签一份三年的技术服务合同，帮我看看风险。
抖音灵感重生计划
yesyesido的博客
12-01 959
水印不应是创意的终点，而是再创作的起点。
选择解决方案二：更换 Embedding 模型源（国内镜像）
07-05
好的，我们选择 **解决方案二：更换 Embedding 模型源（国内镜像）** 来解决你无法从 Hugging Face 下载模型的问题。 --- ## ✅ 步骤一：使用国内镜像安装依赖 你可以使用清华源来加速下载 `sentence-transformers` 和相关依赖： ```bash pip install sentence-transformers -i https://pypi.tuna.tsinghua.edu.cn/simple ``` 或者如果你要指定缓存目录： ```bash pip install sentence-transformers --cache-dir ./local_cache -i https://pypi.tuna.tsinghua.edu.cn/simple ``` --- ## ✅ 步骤二：修改代码以使用本地缓存路径 你可以在加载 `HuggingFaceEmbeddings` 时指定一个本地缓存路径，避免每次重新下载模型。 ### 🔧 修改后的代码如下： ```python from langchain_huggingface import HuggingFaceEmbeddings # 使用 model_name 指定模型名称 # 使用 cache_folder 指定本地缓存路径 embeddings = HuggingFaceEmbeddings( model_name="sentence-transformers/all-MiniLM-L6-v2", cache_folder="./local_embeddings_cache" # 所有模型文件将缓存在这个目录下 ) ``` 这样，第一次运行时会从 Hugging Face 下载模型到 `./local_embeddings_cache/` 目录中； **后续再次运行时就会直接读取本地缓存，无需联网！** --- ## ✅ 步骤三：验证是否成功加载模型 你可以加一段测试代码验证是否能正常生成 Embedding： ```python text = "这是一个测试句子" embedding = embeddings.embed_query(text) print(f"Embedding 维度: {len(embedding)}") print(f"前5个向量值: {embedding[:5]}") ``` 输出类似如下表示成功： ``` Embedding 维度: 384 前5个向量值: [-0.0123, 0.0456, -0.0789, 0.0012, -0.0345] ``` --- ## ✅ 步骤四：完整整合到你的 RAG Pipeline 中 假设你原来的代码结构是这样的： ```python from langchain_huggingface import HuggingFaceEmbeddings model_name = "sentence-transformers/all-MiniLM-L6-v2" embeddings = HuggingFaceEmbeddings(model_name=model_name) ``` 请替换为： ```python model_name = "sentence-transformers/all-MiniLM-L6-v2" embeddings = HuggingFaceEmbeddings( model_name=model_name, cache_folder="./local_embeddings_cache" ) ``` --- ## 📁 缓存目录说明 运行一次后你会在项目根目录看到一个新文件夹： ``` ./local_embeddings_cache/ └── sentence-transformers_all-MiniLM-L6-v2/ ``` 该目录包含模型文件如： - `config.json` - `pytorch_model.bin` - `tokenizer_config.json` - `vocab.txt` 这些文件是你后续离线使用的依据。 --- ## ✅ 离线使用方法（进阶） 一旦模型已经下载并缓存到本地，你可以断网或部署到内网环境中使用： ```python embeddings = HuggingFaceEmbeddings( model_name="./local_embeddings_cache/sentence-transformers_all-MiniLM-L6-v2/" ) ``` ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值