TASKBENCH: BENCHMARKING LARGE LANGUAGE MODELS FOR TASK AUTOMATION

UnknownBody

已于 2025-01-08 15:46:28 修改

阅读量728

点赞数 7

CC 4.0 BY-SA版权

分类专栏： LLM Daily 文章标签：语言模型人工智能自然语言处理

于 2023-12-28 18:00:50 首次发布

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/135274980

LLM Daily 同时被 2 个专栏收录

1689 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

LLM 日更

828 篇文章

已下架不支持订阅

TASKBENCH是评估大型语言模型（LLM）在任务自动化能力的基准，涵盖任务分解、工具调用和参数预测。通过引入工具图和反指令方法生成评估数据集，TASKEVAL则从多个维度评估LLM性能，展示出与人工评估的高度一致性。

本文是LLM系列文章，针对《TASKBENCH: BENCHMARKING LARGE LANGUAGE MODELS FOR TASK AUTOMATION》的翻译。

摘要

最近，大型语言模型（LLM）的惊人进展点燃了任务自动化的火花，它将用户指令描述的复杂任务分解为子任务，并调用外部工具来执行，并在自主代理中发挥核心作用。然而，缺乏一个系统化和标准化的基准来促进LLM在任务自动化中的发展。为此，我们引入TASKBENCH来评估LLM在任务自动化中的能力。具体来说，任务自动化可以分为三个关键阶段：任务分解、工具调用和参数预测，以实现用户意图。与常见的NLP任务相比，这种复杂性使数据收集和评估更具挑战性。为了生成高质量的评估数据集，我们引入了工具图的概念来表示用户意图中的分解任务，并采用反指令方法来模拟用户指令和注释。此外，我们提出了TASKEVAL来从不同方面评估LLM的能力，包括任务分解、工具调用和参数预测。实验结果表明，TASKBENCH可以有效地反映LLM在任务自动化中的能力。得益于自动化数据构建和人工验证的混合，TASKBENCH与人工评估相比实现了高度的一致性，可以作为基于LLM的自主代理的全面而可靠的基准。

1 引言

2 TASKBENCH数据集

3 TASKEVAL

4 结论

在本文中，我们介绍了TaskBench，这是一个评估任务自动化LLM的基准。更详细地说，我们首先总结了LLM在自动化任务中的三个关键阶段，包括任务分解、工具调用和工具参数预测。这三个阶段的性能反映了LLM的任务自动化能力，因此我们希望为它们构建评估数据集。为了实现这一点，我们引入了ToolGraph的概念，它收集