ToolHop: A Query-Driven Benchmark for Evaluating Large Language Models in Multi-Hop Tool Use

主要内容

1. 背景与问题：多跳工具使用任务对大语言模型（LLMs）具有挑战性，现有评估多跳工具使用的研究存在不足，如依赖工具驱动的数据构建方法，无法确保工具间的相互依赖和查询的多跳推理，且缺乏可验证答案，易引入模型偏差和评估错误。
2. ToolHop数据集
   • 任务定义：给定多跳查询和工具集合，模型需利用工具解决查询并提供答案。
   • 数据构建：提出查询驱动的数据构建方案，包括工具创建、文档细化和代码生成三个关键阶段，基于MoreHopQA数据集生成995个用户查询和3912个本地可执行工具，构成ToolHop数据集。
   • 数据集分析：从多样化查询、有意义的相互依赖、本地可执行工具、详细反馈和可验证答案五个维度进行分析，验证了ToolHop能有效评估LLMs的多跳工具使用能力。
3. 实验设置：评估了来自五个不同家族的14个LLMs，包括开源和闭源模型，实验中开源模型使用聊天模板和贪婪解码，闭源模型通过API评估，所有工具通过模型的函数调用接口实现。
4. 主要结果
   • 评估维度