腾讯混元开源混合推理MoE模型Hunyuan-A13B：13B激活参数实现80B级性能突破
项目地址: https://ai.gitcode.com/tencent_hunyuan/Hunyuan-0.5B-Instruct-FP8 6月27日，腾讯混元正式发布旗下首款混合专家（MoE）架构开源大语言模型Hunyuan-A13B。该模型通过创新架构设计，在保持80B总参数规模的同时，将实际激活参数控制在13B级别，实现了与同量级顶尖开源模型相当的性能表现，推理效率与算力性价比却实现显著提升。这一突破性进展意味着全球开发者将能以更低的硬件门槛获得高性能大语言模型能力。即日起，Hunyuan-A13B已在主流开源社区完成部署，并通过腾讯云官网开放API接口，支持开发者快速集成至各类应用场景。
作为业界首个13B级别混合推理MoE开源模型，Hunyuan-A13B依托先进的架构设计展现出卓越的通用能力。在多项国际权威评测基准中，该模型均取得优异成绩，尤其在智能体（Agent）工具调用和长文本处理场景表现突出。针对当前备受关注的大模型Agent能力，腾讯混元团队构建了多智能体协同训练框架，整合MCP环境、沙箱系统及大语言模型模拟器等多元训练环境，通过强化学习技术使智能体能够在复杂场景中自主探索优化，大幅提升了模型的环境交互与任务执行能力。
如上图所示，Hunyuan-A13B在数学推理、代码生成、Agent工具调用等六大核心能力维度均展现出竞争力。这一性能矩阵充分体现了混合推理架构在保持参数效率的同时实现能力跃升的技术突破，为开发者选择适配模型提供了全面的性能参考。
在长文本理解方面，Hunyuan-A13B支持256K上下文窗口长度，能够高效处理百万字级别的文档内容。测试数据显示，该模型在长文本摘要、多文档比对和复杂逻辑分析任务中表现优异，为法律文书处理、学术文献分析等专业场景提供了强有力的技术支撑。
如上图所示，Hunyuan-A13B在不同上下文长度区间（0-8K至32K以上）的长文本理解任务中均保持稳定出色的表现。这一特性凸显了模型在处理学术论文、法律卷宗等超长文本场景的实用价值，为专业领域用户提供了高效的文本处理工具。
Hunyuan-A13B在硬件适配性上表现突出，在常规配置下仅需单张中低端GPU即可完成部署。该模型已全面兼容主流开源推理框架，并支持多种量化格式，在同等输入输出条件下，整体吞吐量达到前沿开源模型的2倍以上，显著降低了企业级应用的算力成本。
模型研发过程中，腾讯混元团队在预训练与后训练阶段均实施了创新策略。预训练阶段累计处理20万亿tokens高质量语料，覆盖科技、金融、医疗等多个专业领域，为模型构建了坚实的知识基础。架构创新方面，团队通过系统建模与工程验证，成功推导出适用于MoE架构的Scaling Law联合公式，完善了混合专家模型的架构理论，为架构设计提供了可量化的工程指导，有效提升了预训练效率与模型质量。后训练阶段则采用多阶段递进式优化策略，在强化推理能力的同时，均衡发展创作生成、语义理解及智能体协作等综合能力。
为推动行业评估体系完善，腾讯混元同步开源两大特色数据集。ArtifactsBench数据集聚焦代码生成评估中的视觉呈现与交互体验鸿沟，包含1825个标注任务，覆盖网页开发、数据可视化至交互式游戏等九大应用领域，按难度分级构建评估体系；C3-Bench数据集则针对智能体场景三大核心挑战（复杂工具关系规划、关键信息提取、动态路径决策），设计1024条测试用例，助力发现模型在复杂场景中的能力短板。
作为腾讯内部应用最广泛的大语言模型之一，Hunyuan-A13B已服务超过400项业务场景，日均调用量突破1.3亿次。此次开源版本在原有基础上实现性能跃升，是腾讯混元继large版本后推出的又一战略性开源成果，标志着其在小参数高性能模型研发上的重要突破。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
