Hunyuan-Large: An Open-Source MoE Model with 52 Billion Activated Parameters by Tencent

Hunyuan-Large开源大模型技术解析
最新推荐文章于 2025-11-24 18:29:32 发布
最新推荐文章于 2025-11-24 18:29:32 发布
阅读量313 收藏
点赞数 6
CC 4.0 BY-SA版权
分类专栏： LLM Daily Technical Report 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/144339346

本文是LLM系列文章，针对《Hunyuan-Large: An Open-Source MoE Model with 52 Billion Activated Parameters by Tencent》的翻译。

混元-Large：腾讯开源520亿激活参数的MoE模型

摘要

在本文中，我们介绍了Hunyuan-Large，它是目前最大的开源基于Transformer的专家混合模型，总共有3890亿个参数和520亿个激活参数，能够处理多达256K个token。我们对Hunyuan-Large在语言理解和生成、逻辑推理、数学问题解决、编码、长上下文和聚合任务等各种基准测试中的卓越性能进行了全面评估，其性能优于LLama3.1-70B并表现出可比的性能与明显更大的 LLama3.1-405B 模型相比。 Hunyuan-Large的主要实践包括比之前文献中的量级更大的大规模合成数据、混合专家路由策略、键值缓存压缩技术和专家特定学习率策略。此外，我们还研究了混合专家模型的缩放规律和学习率表，为未来的模型开发和优化提供了宝贵的见解和指导。混元-Large的代码和检查点发布，方便未来的创新和应用。

1 引言

近年来，大型语言模型 (LLM) 显着推进了人工智能领域的发展，证明了其在 NLP、CV、语音和 AI4Science 等众多领域的有效性。从ChatGPT的出现开始，涌现出许多强大的LLM，这不可避免地为人们带来了收集和处理信息的新方式，广泛影响着我们的日常生活。随着对更复杂的人工智能系统的需求不断增长，研究人员正在探索新技术和范例，以突破模型大小和性能的界限。一种脱颖而出的方法是专家混合 (MoE) 模型，它协同多个专门的子模型，通过动态激活的专家在不同的任务中提供卓越的性能，实现更高效的训练和推理。目前观察到的趋势是，越来越多的 MoE 结构的LLM被构建和开源，以促进LLM社区的发展。
腾讯的AI聊天机器人元宝（yuanbao.tencent.com）自2024年2月起也采用MoE作为

了解本专栏 订阅专栏 解锁全文 超级会员免费看
腾讯混元发布新一代多模态旗舰模型 Hunyuan-Large-Vision：389B参数MoE架构，视觉理解能力全面突破
这里汇聚了前沿的技术分享与实用的开发技巧，带你探索从创意到企业的技术创业之路。
09-09 564
腾讯混元发布新一代多模态大模型Hunyuan-Large-Vision，采用389B参数的MoE架构，激活参数52B，在LMArenaVision榜单全球排名第六。该模型专注于高阶视觉理解，具备视觉逻辑推理、文档解析、视频理解等能力，支持24k tokens上下文输入和8k tokens输出。作为腾讯混元多模态矩阵的旗舰产品，Hunyuan-Large-Vision已开放体验和API接入，致力于推动AI从"能看"到"看懂"的跃迁。
Hunyuan-DiT: A powerful multi-resolution diffusion transformer with fine-grained chinese understand
liguandong
06-28 313
X∈cxhxw，将x分块成h/pxw/p，p=2，线性投影层之后，得到hw/4个token供后续transformer使用，Hunyuan-DiT包含两种类型的transformer，都包含三个模块，自注意力，交差注意力和FFN，文本信息在交叉注意力模块中融合，解码器中还包含了一个跳跃模块，在解码阶段把编码器的信息添加进来，跳跃模块类似于Unet中的长跳跃连接，DiT中没有上采样或下采样模块，最后，token恢复二维结构，在训练中，使用v-prediction能获得更好的性能。支持多分辨率训练和推理。
腾讯：混元MoE大模型52B版本发布
大模型任我行的博客
11-16 1260
如何构建一个具有大规模参数和高效性能的开源混合专家（MoE）模型？论文提出了Hunyuan-Large模型，通过MoE架构和多种创新技术显著提升了模型的性能和效率。
LLMs之Tencent-Hunyuan-Large：Tencent-Hunyuan-Large的简介、安装和使用方法、案例应用之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
11-06 1977
​ LLMs之Tencent-Hunyuan-Large：Tencent-Hunyuan-Large的简介、安装和使用方法、案例应用之详细攻略 目录 相关文章 Tencent-Hunyuan-Large的简介 Tencent-Hunyuan-Large的安装和使用方法 Tencent-Hunyuan-Large的案例应用 相关文章 《
Hunyuan-Large：腾讯发布业界参数规模最大的开源 MoE 模型，支持超长文本输入，超越主流开源模型
士多啤梨先生の博客
11-05 1619
Hunyuan-Large 是腾讯推出的一款大规模混合专家（MoE）模型，具有 3890 亿总参数和 520 亿激活参数，支持高达 256K 的文本序列输入。该模型在长上下文处理、多语言支持和各类基准测试中表现出色，是目前业界参数规模最大的开源 MoE 模型。
腾讯开源Hunyuan-Large：3890亿参数MoE模型重构AI行业格局
gitblog_00570的博客
10-03 930
腾讯正式开源目前业界最大的混合专家（MoE）模型Hunyuan-Large，以3890亿总参数和520亿激活参数刷新开源模型规模纪录，其长文本处理能力与多任务性能已超越Llama3.1-405B等主流模型，为企业级AI应用提供新选择。 ### 行业现状：大模型进入"效能竞赛"新阶段 2025年大语言模型行业正经历从"参数军备竞赛"向"效能优化"的战略转型。据《2025年中LLM市场分析报告》...
Hunyuan-Large：推动AI技术进步的下一代语言模型
机器学习，深度学习
11-06 509
腾讯近期推出了基于Transformer架构的混合专家（MoE）模型——Hunyuan-Large（Hunyuan-MoE-A52B）。该模型目前是业界开源的最大MoE模型之一，拥有3890亿总参数和520亿激活参数，展示了极强的计算能力和资源优化优势。具体文章，如下可见，保证你不吃亏。
腾讯混元Hunyuan-MT-7B：开创多语言翻译新纪元的开源革命
Liudef06的博客
09-09 1272
腾讯混元Hunyuan-MT-7B大模型通过创新的Transformer-XL架构和动态词汇扩展技术，重新定义了多语言机器翻译的边界。该模型支持33种语言，采用五阶段训练流程，包括多语言预训练和对比预训练(CPT)，显著提升了长文本翻译质量和跨语言对齐能力。其核心创新包括相对位置编码机制和灵活词汇管理，解决了传统Transformer在长序列翻译中的上下文碎片化问题。作为开源项目，Hunyuan-MT-7B通过技术开放推动了全球机器翻译领域的协同发展，为不同语言社群架起了高效沟通的桥梁。
腾讯混元翻译大模型Hunyuan-MT-7B：重塑跨语言沟通的技术革命
2501_92856799的博客
09-01 1144
腾讯混元Hunyuan-MT-7B大模型采用创新的混合专家架构与多语言注意力机制，在7B参数规模下实现接近70B模型的性能表现。该模型通过动态路由机制优化计算效率，结合语言感知偏置矩阵增强多语言处理能力。采用五阶段训练流程，包括大规模多语言预训练、对比学习微调等创新方法，支持33种语言的高质量互译。其核心优势在于MoE架构的灵活专家激活机制，使每个token仅需激活2-4个专家，在保持模型规模的同时显著提升翻译质量，成为当前机器翻译领域的技术标杆。
Hunyuan-DiT ： 强大的多分辨率扩散转换器，具有细粒度的中文理解
11-19
Hunyuan-DiT是一种创新的人工智能技术，它代表了多分辨率扩散转换器的发展前沿。这种技术特别强调了对中文语言的细粒度理解能力，这意味着它能够处理和解析中文文本中的复杂性和细微差别。在人工智能领域，能够精确...
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 159
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
2025企业微信AI落地新趋势：微盛AI·企微管家破解内外增长难题
最新发布
weisheng00的博客
11-24 374
2025年企业微信AI落地的三大关键趋势：微盛AI·企微管家通过智能客服、精准营销和内部协作三大场景，帮助企业实现200%的客服效率提升、90%的报修响应提速和50%的员工效能增长。作为企业微信生态最大ISV服务商，微盛依托"AI+SCRM"双引擎，已服务160家500强企业，提供合规AI聊天Agent、生态闭环整合及私有化部署方案，有效解决数据孤岛问题，90%客户在3个月内实现AI能力全员覆盖。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 285
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 51
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
基于华为开发者空间实现花卉识别
优快云高校俱乐部官方博客
11-21 1534
基于华为开发者空间实现花卉识别
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
2501_94114442的博客
11-21 462
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
【NullSwap】NullSwap: Proactive Identity Cloaking Against Deepfake
人生不是轨道，是旷野。希望每天都有好心情。
11-23 162
由于生成模型的进步，被动检测高质量Deepfake图像的性能瓶颈，主动扰动提供了一种有前途的方法，通过将信号插入良性图像来禁用Deepfake操作。【生成模型的发展，使得生成高质量伪图越来越难被检测】然而，现有的主动扰动方法在以下几个方面仍然不能令人满意：【当前主动扰动存在的问题】1）由于直接元素添加而导致的视觉退化;2）对交换操纵的有效性有限;3）不可避免地依赖于白盒和灰盒设置，以在训练期间涉及生成模型。我们分析了深度伪造swap技术的本质，并论证了保护源身份而非目标图像的必要性。
【字节跳动 AI 原生 IDE TRAE 】
youngerwang的博客
11-22 634
字节跳动推出的AI原生IDE TRAE是国内首款协作级AI开发工具，采用"交互层-智能层-协议层-生态层"四层架构，支持SOLO智能自主开发模式和多模态交互。核心功能包括：1）SOLO模式支持需求分析、工具调度和全流程自动化开发；2）双模式交互系统兼顾精细控制和快速原型开发；3）多模态交互支持语音、图像和代码片段输入；4）开放的智能体生态系统。TRAE深度融合大模型能力，在前后端开发中展现出高效代码生成和自动化能力，并通过MCP协议实现安全工具调用。产品迭代迅速，216天发布63个版本，
EAGLE-2：通过动态草稿树加速语言模型推理
11-24 16
现代 Large Language Models（LLMs）的推理过程既昂贵又耗时，而 speculative sampling 已被证明是一种有效的解决方案。大多数 speculative sampling 方法（例如 EAGLE）使用静态的 draft tree，并默认 draft token 的接受率仅依赖于其位置。有趣的是，我们发现 draft token 的接受率也依赖于上下文。本文在 EAGLE 的基础上提出了，该方法引入了一种新的技术用于 draft 建模。
Failed to index the following folder: - D:\hunyuan\models\Hunyuan-MT-7B
10-30
<think>我们正在解决LM-Studio中对特定文件夹（D:\hunyuan\models\Hunyuan-MT-7B）索引失败的问题。索引失败可能有多种原因，我们需要逐步排查。 可能的原因及解决方案： 1. **模型文件格式问题**： - LM-Studio主要支持GGUF格式的模型（由llama.cpp转换而来）。如果Hunyuan-MT-7B模型不是GGUF格式，则无法被识别。 - 解决方案：将模型转换为GGUF格式。可以使用[llama.cpp](https://github.com/ggerganov/llama.cpp)进行转换。 2. **模型文件损坏或不完整**： - 下载过程中可能中断，导致文件不完整。 - 解决方案：重新下载模型或验证文件的完整性。 3. **路径问题**： - 路径中包含空格或特殊字符可能导致索引失败。虽然示例路径中没有空格，但有一个破折号（-），这通常是允许的，但有时也可能引起问题。 - 解决方案：尝试将文件夹重命名为不带特殊字符（如破折号、空格等）的名称，例如将`Hunyuan-MT-7B`改为`Hunyuan_MT_7B`。 4. **模型文件未放置在正确位置**： - LM-Studio默认会扫描其模型目录（通常在`C:\Users\<用户名>\.cache\lm-studio\models`），但用户也可以添加自定义目录。如果用户将模型放在自定义目录（如`D:\hunyuan\models`）中，需要确保该目录已被LM-Studio正确添加为模型路径。 - 解决方案：在LM-Studio中检查模型路径设置： - 打开LM-Studio，进入“Settings”（设置）。 - 在“Model Directory”中添加自定义路径（如`D:\hunyuan\models`）并保存。 - 然后重启LM-Studio，查看是否成功索引。 5. **文件权限问题**： - 如果LM-Studio没有权限读取该目录，则无法索引。 - 解决方案：检查文件夹的权限，确保当前用户有读取权限。 6. **模型文件名称不规范**： - LM-Studio通过文件扩展名（如`.gguf`）来识别模型。如果文件扩展名不正确，则不会被识别。 - 解决方案：确认模型文件具有正确的扩展名（一般为`.gguf`），如果没有，则手动添加。 7. **LM-Studio版本问题**： - 旧版本可能不支持某些模型格式。 - 解决方案：更新到最新版本的LM-Studio。 8. **模型文件名包含特殊字符**： - 虽然破折号（-）通常可以接受，但有时也可能导致问题。可以尝试将文件名简化。 9. **尝试手动添加模型**： - 在LM-Studio的“My Models”界面，点击“Add Models”按钮，然后手动导航到模型文件（.gguf文件）进行添加。 具体步骤： 1. **确认模型格式**： 检查`D:\hunyuan\models\Hunyuan-MT-7B`目录下是否有以`.gguf`为扩展名的文件。如果没有，则需要转换模型格式。 2. **检查模型完整性**： 如果模型文件存在，检查文件大小是否与官方发布的模型大小一致。 3. **添加自定义模型目录**： - 在LM-Studio中，进入设置（Settings）-> Model Directory。 - 添加`D:\hunyuan\models`（注意，这里添加的是包含模型文件夹的父目录，而不是模型文件夹本身）。 - 保存设置并重启LM-Studio。 4. **重命名文件夹**： 将`Hunyuan-MT-7B`重命名为`Hunyuan_MT_7B`（去掉破折号，用下划线代替）。 5. **手动添加模型**： 在LM-Studio的“My Models”页面，点击“Add Models”，然后浏览到`D:\hunyuan\models\Hunyuan_MT_7B`（或重命名后的文件夹），选择.gguf文件打开。 6. **查看日志**： 如果上述步骤仍不能解决问题，可以查看LM-Studio的日志文件，通常位于： - Windows: `%APPDATA%\LM Studio\log.log` 日志中可能会有关于索引失败的详细错误信息。 7. **联系官方支持**： 如果日志中有错误信息，可以将其提供给LM-Studio官方支持以寻求帮助。 注意事项： - 确保模型与LM-Studio兼容。目前LM-Studio主要支持基于LLaMA架构的模型（转换为GGUF格式）。Hunyuan模型如果是其他架构（如PyTorch原始格式），则需要先转换为GGUF。 转换模型为GGUF格式的步骤（如果原模型是PyTorch或Hugging Face格式）： 1. 克隆llama.cpp仓库： ```bash git clone https://github.com/ggerganov/llama.cpp cd llama.cpp ``` 2. 编译项目（按照仓库README的说明）。 3. 将原模型转换为GGUF格式： - 首先将原始模型转换为FP16格式，然后再转换为GGUF。具体步骤可参考llama.cpp的文档。 由于转换大型模型需要一定的技术能力和时间，如果用户不具备条件，可以寻找是否有现成的GGUF格式的Hunyuan模型下载。 如果以上方法均无效，建议提供LM-Studio日志中的错误信息，以便进一步诊断。 以下是针对该问题的解决步骤流程图： ```mermaid graph TD A[索引失败] --> B{检查模型格式} B -->|是否为GGUF?| C[是] B -->|不是| D[转换为GGUF格式] C --> E[检查文件完整性] E -->|文件完整| F[检查路径设置] E -->|不完整| G[重新下载] F -->|路径正确| H[检查权限] F -->|路径未添加| I[添加自定义路径] H -->|权限足够| J[尝试重命名文件夹] J --> K[手动添加模型] K --> L[成功？] L -->|是| M[问题解决] L -->|否| N[查看日志] N --> O[根据日志错误解决] O --> P[解决成功？] P -->|是| M P -->|否| Q[联系官方支持] ``` 相关问题： 1. 如何将PyTorch模型转换为GGUF格式？ 2. LM-Studio支持哪些模型格式？ 3. 如何查看LM-Studio的日志文件？ 4. 如何为LM-Studio添加多个模型目录？ 5. 为什么LM-Studio无法识别我下载的GGUF模型文件？ </think>针对LM-Studio无法索引文件夹 `D:\hunyuan\models\Hunyuan-MT-7B` 的问题，以下是完整的排查与解决方案： --- ### 🔍 **问题排查流程** #### 1. **验证模型格式兼容性** - LM-Studio **仅支持GGUF格式模型**（其他格式如PyTorch需转换）[^1] - 检查文件夹内文件扩展名： ```powershell dir D:\hunyuan\models\Hunyuan-MT-7B | findstr ".gguf" ``` - ❌ 若无`.gguf`文件 → 需要格式转换 - ✅ 若有`.gguf`文件 → 进入步骤2 #### 2. **检查文件权限** - 右键点击文件夹 → **属性 → 安全** → 验证当前用户是否有： - ✅ 读取权限 - ✅ 执行权限 - 修复权限（管理员权限运行）： ```powershell icacls "D:\hunyuan\models\Hunyuan-MT-7B" /grant Users:(OI)(CI)RX ``` #### 3. **调整文件夹命名规范** - LM-Studio对路径中的 **破折号（-）** 可能识别异常 - 重命名文件夹（去掉特殊字符）： ```powershell ren "D:\hunyuan\models\Hunyuan-MT-7B" "Hunyuan_MT_7B" ``` #### 4. **手动添加模型路径** 在LM-Studio界面操作： 1. 进入 **Settings → Model Directory** 2. 添加自定义路径：`D:\hunyuan\models` （注意是**父目录**） 3. 重启LM-Studio ![](https://i.imgur.com/9GgGZ5u.png) #### 5. **检查模型完整性** - 验证GGUF文件是否完整： ```powershell certutil -hashfile "D:\hunyuan\models\Hunyuan_MT_7B\model-file.gguf" SHA256 ``` - 对比官网提供的HASH值（不匹配需重新下载） --- ### ⚠️ **特殊场景解决方案** #### 🔧 场景1：非GGUF格式模型 使用[llama.cpp](https://github.com/ggerganov/llama.cpp)转换PyTorch模型： ```bash # 转换步骤 git clone https://github.com/ggerganov/llama.cpp cd llama.cpp && make python convert.py D:\hunyuan\models\Hunyuan_MT_7B --outtype gguf ./quantize D:\hunyuan\models\Hunyuan_MT_7B\ggml-model-f16.gguf D:\hunyuan\models\Hunyuan_MT_7B\quantized.gguf q4_0 ``` #### 🔧 场景2：中文模型支持问题 在模型路径中创建 `config.json`： ```json { "tokenizer_config": { "tokenizer_class": "LlamaTokenizer", "special_tokens_map": {"unk_token": "<unk>"} }, "auto_map": { "AutoConfig": "configuration_llama.LlamaConfig" } } ``` --- ### 📊 故障排查表 | 现象 | 解决方案 | |-----------------------|-----------------------------------| | 文件夹完全不可见 | 检查步骤4的父目录设置 | | 文件夹可见但模型空白 | 执行步骤1和5的格式与完整性检查 | | 加载时崩溃 | 查看日志 `%APPDATA%\LM Studio\log.log` | | 仅特定模型失败 | 检查模型架构兼容性 [^2] | --- ### 🌐 **相关技术说明** 1. **GGUF格式要求**： LM-Studio依赖llama.cpp的GGUF运行时，非标准模型需通过`convert.py`对齐元数据结构，满足： $$ \text{Metadata} \supseteq \{\text{general.name}, \text{general.architecture}\} $$ 2. **路径解析限制**： 路径深度超过3级或含特殊符号（如`-`, `@`）时可能触发解析错误，建议： $$ \text{PathDepth} \leq 3 \quad \text{AND} \quad \text{PathChars} \in [\text{A-Za-z0-9_}\backslash] $$ ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值