2025_NIPS_GPT4Tools: Teaching Large Language Model to Use Tools via Self-instruction

一、文章主要内容总结

该研究聚焦于让开源大型语言模型（LLMs）高效具备多模态工具使用能力，核心提出了 GPT4Tools 方法，具体内容如下：

1. 研究背景：现有先进专有LLMs（如GPT-3.5、GPT-4）虽能通过提示工程使用工具，但存在计算成本高、依赖私有数据的问题；而开源LLMs缺乏工具使用能力，现有相关方法或依赖专有模型、或数据多样性不足。
2. 核心方案：
   • 数据集构建：以GPT-3.5为教师模型，结合图像内容（标题、边界框）和工具描述生成工具相关指令数据集，经过滤后保留4.1万条有效数据，并通过负样本（非工具相关指令）和上下文样本（多轮工具调用链）增强数据复杂度。
   • 模型微调：采用低秩适配（LoRA）技术，在冻结开源LLMs（Vicuna、LLaMA、OPT）主模型参数的前提下，仅优化Transformer层的秩分解组件，实现高效微调。
   • 评估基准：构建包含23种已知工具的验证集和8种未知工具的测试集，从“是否使用工具（SRₜ）”“使用哪种工具（SRₐₙ）”“工具参数是否正确（SRₐᵣ₉ₛ）”“整体执行成功率（SR）”四个维度评估模型性能。
3. 实验结果：
   • 微调后开源模型工具使用能力显著提升：Vicuna-13B的整体成功率（SR）从12.4%提升至94.1%，OPT-13B从0提升至93.2%。
   • 具备未知工具零样本使用能力：微调后的Vicuna-13B在未知工具