下一代搜索智能体评测基准！美团开源LoHoSearch，用知识图谱校准AI能力认知

过去一年，我们见证了 Search Agent 能力的显著演进。在 BrowseComp 等评测上，顶尖模型准确率从最初的30%区间迅速攀升至90%以上。然而，当基准迅速饱和，其区分模型能力的价值也随之递减。

BrowseComp 的题目由人工设计，局限在于只能基于标注者已知的实体和关系构思，无法站在全局知识网络视角判断：哪些条件真的难检索？哪些约束的候选空间足够大？正是这种局限，让我们开始思考另一种可能性：能不能让机器自己来出题？

美团 LongCat 团队在最新论文中提出的 LoHoSearch 基准，就是把这种可能性变成了现实。

LoHoSearch 的核心"硬核"看点

• 知识图谱自动化构造。 以覆盖762万维基百科实体的知识图谱为基础自动生成题目，替代人工出题。基准含544道经人工核验的题目，覆盖11个领域。
• 双维度难度控制。 在生成中系统控制搜索空间与结构复杂度。构建出难度显著高于现有基准的挑战性问题。
• 当前模型性能表现。 已评测模型中，GPT-5.5准确率为34.74%；现有上下文管理策略在LoHoSearch上提升幅度为6.8%，低于在BrowseComp上的14.03%。

01 设计原理：让机器出题，需要几部？

机器出题的前提，是让机器拥有全局视野。整个构建流程可以分为四个环节：建图 → 控制难度 → 质量把关 → 数据概览。下面逐一展开。

1.1 建图：搭建知识图谱，让机器获得全局视野

LoHoSearch 的第一步，是从完整的英文维基百科出发搭建一张大规模知识图谱：

• 762 万个实体（每个维基页面是一个实体节点）
• 2.65 亿条有向边（页面正文中指向其他维基页面的超链接）
• 每个实体的类型取自其 Wikidata P31 类别，实体热度用入度来衡量

这张图谱为后续在全局视角下挑选"难题"提供了基础。

有了图谱之后，下一个问题是：什么样的题目才算"难"？LoHoSearch 从两个维度来定义难度。

1.2 控制难度：搜索空间和结构复杂度两个维度

决定搜索难度的核心有两个维度，而它们恰恰是人工出题最难把控的：

• 搜索空间：满足一个条件的候选实体有多少。候选越多，排除成本越高。
• 结构复杂度：要同时满足多少条件才能锁定答案。条件越多、咬合越紧，求解链条越长。

针对这两个维度，LoHoSearch 设计了两种子图结构：

• 树结构主要通过放大"搜索空间"来制造难度。
• 图结构则在巨大搜索空间之上，通过引入环形依赖和交叉约束，进一步叠加了"结构复杂度"。

1.3 质量把关：从生成到验证，层层把关

子图采样完成后，还需要转换为可阅读的自然语言题目。整个转换与验证流程分为三层：

• 题目生成：从子图抽取维基描述，改写为自然语言问题。
• 自动验证：检查问题是否完整覆盖子图关系，并由搜索智能体验证标准答案满足所有条件。
• 筛选与复核：排除多答案题和易答题，再由人工审核。

经过三层筛选，自动化流程的整体质量表现如下：75.5% 的题目直接通过人工复核，22.3% 经标注员微调后接受，仅有 2.2% 因严重问题被丢弃。

1.4 数据概览：544道题目，11个主题领域

LoHoSearch 最终收录 544 道 经人工核验的题目。对比树结构和图结构可以看出，图结构子图明显更稠密——节点更多、边数接近前者的两倍，这正对应它更高的结构复杂度。题目内容覆盖音乐、地理与地点、影视、体育等 11 个主题领域。

最强模型 GPT-5.5 准确率仅 34.74%，DeepSeek-V4-Pro、Claude-Opus-4.6 和 Kimi-K2.6 集中在 15.53%–15.99%，其余模型均低于 14%。这与它们在 BrowseComp 上 80% 以上的表现形成鲜明对照——LoHoSearch 对当前最先进搜索智能体构成了实质挑战。

洞察一：解一道题，平均工具调用从 35 次增至 61 次

用 DeepSeek-V4-Flash 作为探针对比两个基准：同一模型在 BrowseComp 上准确率 58.84%，在 LoHoSearch 上仅 10.02%。

解一道 LoHoSearch 题目，平均工具调用从 35 次增至 61 次（+74%），中位数从 26 次升至 59 次。图结构题目准确率仅 8.01%，远低于树结构的 11.89%，印证了结构复杂度是独立于搜索空间之外的额外难度来源。

洞察二：重复采样收益可观，但天花板依然很低

对 DeepSeek-V4-Flash 采样 16 个独立回答，结果如图 5 所示。

pass@N 从 N=1 的 9.3% 升至 N=16 的 38.3%，重复采样收益可观，但 38.3% 仍处低位。尝试 16 次仍有六成以上题目无法攻克。三种聚合策略中 best-of-N 表现最优（24.6%），远低于 pass@16 上界，说明模型在答案置信度校准上存在明显不足。

洞察三：现有的上下文管理策略，在这里已失真

以标准 ReAct 为基线，测试 Summary 和 Discard-all 两种策略，并加入 Verify 模块。

表现最佳的组合（Discard-all + Verify）将成绩从 10.02% 提至 16.82%，绝对提升仅 6.8 个百分点，而同一套策略在 BrowseComp 上可带来 14 个百分点的增益。收益收窄的原因在于 LoHoSearch 需要更长的推理链，简单的轨迹压缩或重启无法解决长程搜索中的信息丢失问题——这使其成为下一代上下文管理技术更有价值的试验场。

洞察四：知识图谱是系统化构造高难度题目不可或缺的基础

对比两个基准中"隐藏实体"的特征可以发现：

其一，BrowseComp 的隐藏实体流行度明显更高，人工出题难以精确控制实体知名度，导致实体偏易。

其二，即便将流行度控制在同一水平，LoHoSearch 的关系搜索空间仍显著更大，实体推断难度远高于 BrowseComp。

这说明人工构建存在系统性局限，知识图谱是系统化构造高难度题目不可或缺的基础。

02 总结：为下一代智能搜索提供新标尺

LoHoSearch 的价值体现在三项具体贡献上：

• 基于知识图谱的自动化构造流程。 以覆盖762万实体的知识图谱为基础自动生成题目，系统控制搜索空间与结构复杂度，突破人工出题的难度上限。
• 更具区分度的评测标准。 最强模型 GPT-5.5 准确率仅 34.74%，正确轨迹所需工具调用次数是 BrowseComp 的 1.7 倍。LoHoSearch 为搜索智能体建立了更具区分度的评测标尺。
• 面向上下文管理研究的挑战性平台。 最优策略仅带来 6.8% 的提升，远低于其在 BrowseComp 上 14.03% 的增益，表明 LoHoSearch 可成为推动下一代上下文管理技术研究的理想试验场。

LoHoSearch 已全面开源，欢迎各大模型前来接受"长程搜索"大考。

开源链接

• Paper: https://arxiv.org/abs/2606.12837
• HuggingFace: https://huggingface.co/datasets/meituan-longcat/LoHoSearch

| 本文系美团技术团队出品，著作权归属美团。欢迎出于分享和交流等非商业目的转载或使用本文内容，敬请注明“内容转载自美团技术团队”。本文未经许可，不得进行商业性转载或者使用。任何商用行为，请发送邮件至 tech@meituan.com 申请授权。