TASKBENCH: BENCHMARKING LARGE LANGUAGE MODELS FOR TASK AUTOMATION

本文是LLM系列文章，针对《TASKBENCH: BENCHMARKING LARGE LANGUAGE MODELS FOR TASK AUTOMATION》的翻译。

摘要

最近，大型语言模型（LLM）的惊人进展点燃了任务自动化的火花，它将用户指令描述的复杂任务分解为子任务，并调用外部工具来执行，并在自主代理中发挥核心作用。然而，缺乏一个系统化和标准化的基准来促进LLM在任务自动化中的发展。为此，我们引入TASKBENCH来评估LLM在任务自动化中的能力。具体来说，任务自动化可以分为三个关键阶段：任务分解、工具调用和参数预测，以实现用户意图。与常见的NLP任务相比，这种复杂性使数据收集和评估更具挑战性。为了生成高质量的评估数据集，我们引入了工具图的概念来表示用户意图中的分解任务，并采用反指令方法来模拟用户指令和注释。此外，我们提出了TASKEVAL来从不同方面评估LLM的能力，包括任务分解、工具调用和参数预测。实验结果表明，TASKBENCH可以有效地反映LLM在任务自动化中的能力。得益于自动化数据构建和人工验证的混合，TASKBENCH与人工评估相比实现了高度的一致性，可以作为基于LLM的自主代理的全面而可靠的基准。

1 引言

2 TASKBENCH数据集

3 TASKEVAL

4 结论

在本文中，我们介绍了TaskBench，这是一个评估任务自动化LLM的基准。更详细地说，我们首先总结了LLM在自动化任务中的三个关键阶段，包括任务分解、工具调用和工具参数预测。这三个阶段的性能反映了LLM的任务自动化能力，因此我们希望为它们构建评估数据集。为了实现这一点，我们引入了ToolGraph的概念，它收集