智谱GLM - 5系列模型底层推理技术突破：系统吞吐最高提升132%，推理成本降低

【导语：4月30日，据科创板日报消息，智谱于今日凌晨发布技术博客，首次系统披露GLM - 5系列模型在超大规模Coding Agent调用场景下的底层推理技术突破，带来系统性能提升与成本降低。】

推理技术突破：系统吞吐提升132%

智谱此次披露的GLM - 5系列模型底层推理技术，在超大规模Coding Agent调用场景下取得显著成效，系统吞吐最高提升了132%。这意味着在相同硬件条件下，模型的服务能力得到了显著扩容，能够处理更多的任务。

KV cache修复方案获开源社区采纳

其KV cache修复方案改进了模型在长对话中的记忆缓存机制，从而有效提升推理效率，该方案已获SGLang开源社区采纳。这不仅体现了该技术的创新性和实用性，也有助于推动行业内相关技术的发展。

持续优化：提升token吞吐效率，降低推理成本

公司的推理优化工作还在进一步加速，大幅提升了单位算力token吞吐效率，同时降低了推理成本。这使得GLM - 5系列模型在实际应用中更具竞争力，能够为用户带来更高效、更经济的服务。

编辑观点：智谱GLM - 5系列模型的底层推理技术突破，对提升模型性能和降低成本意义重大，有望在相关领域加快应用落地，推动行业技术进步。