腾讯混元Hunyuan-A13B开源：混合专家架构实现13B激活参数等效80B模型性能
项目地址: https://ai.gitcode.com/tencent_hunyuan/Hunyuan-A13B-Instruct-FP8 6月27日，腾讯混元正式对外发布混合专家（MoE）架构开源大语言模型Hunyuan-A13B。这款创新性模型通过架构优化，在保持80B总参数规模的同时，将实际激活参数控制在13B量级，实现了与传统80亿参数模型相当的性能水平，同时推理效率提升显著。该模型已在主流开源社区完成部署，并通过腾讯云API开放服务，标志着大语言模型在"小参数高性能"领域迈出关键一步。
作为业界首款13B级混合推理MoE开源模型，Hunyuan-A13B展现出全方位的能力优势。在国际权威评测体系中，该模型在数学推理、代码生成等核心维度表现突出，尤其在智能体工具调用场景实现技术突破。腾讯混元团队构建的多智能体协同训练框架，整合MCP环境与沙箱系统，通过强化学习技术使模型具备复杂场景下的自主优化能力，大幅提升了环境交互与任务执行效率。
如上图所示，该对比图表清晰呈现了Hunyuan-A13B在六大核心能力维度的竞争力。这一性能矩阵直观展示了混合推理架构如何在控制参数规模的同时实现能力跃升，为开发者选择适配模型提供了全面参考依据。
在长文本处理领域，Hunyuan-A13B支持256K上下文窗口，可高效处理百万字级文档。测试数据显示，模型在学术论文摘要、法律文书分析等专业场景表现优异，尤其在跨文档逻辑关联分析任务中展现出独特优势，为专业领域用户提供了高效文本处理解决方案。
如上图所示，该表格详细对比了不同上下文长度区间下各主流模型的性能表现。这一数据充分验证了Hunyuan-A13B在超长文本处理场景的稳定性，特别适合处理学术文献、法律卷宗等专业领域的超长文本内容，为行业用户提供了可靠的技术支撑。
硬件适配性方面，Hunyuan-A13B展现出显著优势，单张中低端GPU即可完成部署。该模型全面兼容主流开源推理框架，支持多种量化格式，在同等硬件条件下吞吐量达到前沿开源模型的2倍以上，有效降低了企业级应用的算力门槛与运营成本。
研发团队在技术创新上实现多重突破：预训练阶段处理20万亿tokens高质量语料，覆盖多专业领域；架构设计上推导出适用于MoE模型的Scaling Law联合公式，为架构优化提供量化指导；后训练阶段采用多阶段递进式优化策略，均衡发展各项核心能力。同步开源的两大特色数据集更填补了行业评估空白——ArtifactsBench聚焦代码生成的视觉呈现评估，含1825个标注任务；C3-Bench则针对智能体场景三大核心挑战设计1024条测试用例。
作为腾讯内部应用最广泛的大语言模型之一，Hunyuan-A13B已服务超过400项业务场景，日均调用量突破1.3亿次。此次开源版本在保持轻量化部署优势的同时实现性能跃升，是腾讯混元在小参数模型研发领域的战略性成果，将推动大语言模型在边缘计算、智能终端等场景的规模化应用。
腾讯同时开源混元系列新成员Hunyuan-0.5B-Instruct-FP8，该模型专为高效部署设计，参数量仅0.5B却支持FP8量化与256K超长上下文，在边缘设备和轻量场景中表现卓越。项目地址：https://gitcode.com/tencent_hunyuan/Hunyuan-A13B-Instruct-FP8
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
