StableToolBench: Towards Stable Large-Scale Benchmarking on Tool Learning of Large Language Models

最新推荐文章于 2025-11-25 12:11:01 发布

UnknownBody

最新推荐文章于 2025-11-25 12:11:01 发布

阅读量368

点赞数 3

CC 4.0 BY-SA版权

分类专栏： LLM Daily 文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/139178284

LLM Daily 专栏收录该内容

1691 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

StableToolBench为大型语言模型（LLM）的工具学习提供大规模、稳定的基准测试。它解决了依赖于不稳定在线API的问题，采用虚拟API服务器和缓存系统来缓解API状态变化，并使用GPT-4进行稳定评估。实验验证了其在提高模型性能评估稳定性和模拟真实API行为方面的有效性。

本文是LLM系列文章，针对《StableToolBench: Towards Stable Large-Scale Benchmarking on
Tool Learning of Large Language Models》的翻译。

摘要

近年来，大型语言模型（LLM）取得了显著的进步，促使人们探索工具学习，将LLM与外部工具相结合，以应对现实世界中的各种挑战。评估LLM利用工具的能力需要大规模和稳定的基准。然而，以前的工作要么依赖于规模有限的手工在线工具，要么依赖于API地位不稳定的大规模真实在线API。为了解决这个问题，我们引入了StableToolBench，这是一个从ToolBench演变而来的基准，提出了一个虚拟的API服务器和稳定的评估系统。虚拟API服务器包含一个缓存系统和API模拟器，它们是互补的，以缓解API状态的变化。同时，稳定评估系统使用GPT-4作为自动评估器，设计可解决的通过率和胜率，以消除评估过程中的随机性。实验结果证明了StableToolBench的稳定性，并进一步讨论了API模拟器、缓存系统和评估系统的有效性。