TOOLLLM: FACILITATING LARGE LANGUAGE MODELS TO MASTER 16000+ REAL-WORLD APIS

本文是LLM系列的文章之一，针对《TOOLLLM: FACILITATING LARGE LANGUAGE MODELS TO MASTER 16000+ REAL-WORLD APIS》的翻译。

摘要

尽管开源大型语言模型（LLM）及其变体（如LLaMA和Vicuna）取得了进步，但它们在执行更高级别的任务方面仍然受到很大限制，例如遵循人类指令使用外部工具（API）。这是因为当前的指令调优主要集中在基本的语言任务上，而不是工具使用领域。这与最先进的（SOTA）LLM（例如，ChatGPT）形成了鲜明对比，后者展示了出色的工具使用能力，但不幸的是，它们是封闭源代码的。为了促进开源LLM中的工具使用能力，我们引入了ToolLLM，这是一个数据构建、模型训练和评估的通用工具使用框架。我们首先介绍了ToolBench，这是一个用于工具使用的指令调优数据集，它是使用ChatGPT自动创建的。具体来说，我们从RapidAPI Hub收集了16464个真实世界的RESTful API，涵盖49个类别，然后提示ChatGPT生成涉及这些API的各种人工指令，涵盖单工具和多工具场景。最后，我们使用ChatGPT为每条指令搜索有效的解决方案路径（API调用链）。为了提高搜索过程的效率，我们开发了一种新的基于深度优先搜索的决策树（DFSDT），使LLM能够评估多个推理轨迹并扩展搜索空间。我们表明，DFSDT显著增强了LLM的规划和推理能力。为了进行有效的工具使用评估，我们开发了一个自动评估器：ToolEval。我们在ToolBench上微调LLaMA并获得ToolLLaMA。我们的ToolEval表明，ToolLLaMA表现出执行复杂指令和泛化到看不见的API的非凡能力，并表现出与ChatGPT相当的性能。为了使管道更实用，我们设计了一个神经API检索器，为每条指令推荐合适的API，从而消除了手动选择API的需要。代码、经过训练的模型和演示可在