LongCat-Flash-Thinking-2601 Technical Report

LongCat-Flash-Thinking-2601 论文总结与翻译

一、论文主要内容总结

LongCat-Flash-Thinking-2601 是美团团队推出的5600亿参数开源混合专家（MoE）推理模型，核心聚焦于提升智能体推理能力，在智能体搜索、工具使用、工具集成推理等多类基准测试中取得开源模型的SOTA性能。

1. 训练框架
   • 采用预训练-中期训练-强化学习后训练的端到端协同设计流程。预训练基于 LongCat-Flash-Chat 保留通用推理能力；中期训练通过合成结构化智能体轨迹数据，解决真实世界中长程智能体交互数据稀缺的问题，同时逐步扩展上下文长度至256K tokens。
   • 强化学习阶段依托扩展后的异步强化学习框架 DORA，支持多达32000个环境并发训练，覆盖20余个领域，并通过注入真实世界噪声提升模型鲁棒性。
2. 核心功能特性
   • 提出Heavy Thinking 模式，通过并行推理轨迹探索与迭代精炼，同时扩展推理的深度和宽度，实现测试时的推理能力缩放。
   • 设计混合上下文管理策略，结合摘要压缩与历史上下文重置，解决长程交互中的上下文窗口溢出问题，在 BrowseComp 基准上实现最高73.1%的 Pass@1 准确率。