StableToolBench: Towards Stable Large-Scale Benchmarking on Tool Learning of Large Language Models

UnknownBody

于 2024-05-25 22:39:19 发布

阅读量294

点赞数 3

分类专栏： LLM Daily 文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/139178284

版权

LLM Daily 专栏收录该内容

1257 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

StableToolBench为大型语言模型（LLM）的工具学习提供大规模、稳定的基准测试。它解决了依赖于不稳定在线API的问题，采用虚拟API服务器和缓存系统来缓解API状态变化，并使用GPT-4进行稳定评估。实验验证了其在提高模型性能评估稳定性和模拟真实API行为方面的有效性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《StableToolBench: Towards Stable Large-Scale Benchmarking on
Tool Learning of Large Language Models》的翻译。

摘要

近年来，大型语言模型（LLM）取得了显著的进步，促使人们探索工具学习，将LLM与外部工具相结合，以应对现实世界中的各种挑战。评估LLM利用工具的能力需要大规模和稳定的基准。然而，以前的工作要么依赖于规模有限的手工在线工具，要么依赖于API地位不稳定的大规模真实在线API。为了解决这个问题，我们引入了StableToolBench，这是一个从ToolBench演变而来的基准，提出了一个虚拟的API服务器和稳定的评估系统。虚拟API服务器包含一个缓存系统和API模拟器，它们是互补的，以缓解API状态的变化。同时，稳定评估系统使用GPT-4作为自动评估器，设计可解决的通过率和胜率，以消除评估过程中的随机性。实验结果证明了StableToolBench的稳定性，并进一步讨论了API模拟器、缓存系统和评估系统的有效性。