DISCOVERYBENCH: Towards Data-Driven Discovery with Large Language Models

本文是LLM系列文章，针对《DISCOVERYBENCH: Towards Data-Driven Discovery with Large Language Models》的翻译。

摘要

使用大型语言模型 （LLM） 的代码生成、函数调用和数据分析的快速发展是否有助于仅从一组提供的数据集中自动搜索和验证假设？为了评估这个问题，我们提出了 DISCOVERYBENCH，这是第一个将数据驱动发现的多步骤过程正式化的综合基准。该基准测试旨在系统地评估当前模型在发现任务中的功能，并为改进这些任务提供有用的资源。我们的基准测试包含跨 6 个不同领域（例如社会学和工程学）收集的 264 个任务，通过从已发表的论文中手动导出发现工作流程来估计研究人员面临的实际挑战，其中每个任务都由数据集、其元数据和自然语言的发现目标定义。我们还提供 903 个综合任务，以对任务复杂性进行生成评估。此外，我们数据驱动发现的结构化形式支持基于 facet 的评估，从而为不同的故障模式提供有用的见解。我们在 DISCOVERYBENCH 上使用开放和封闭 LLM 作为基线评估了几种流行的基于 LLM 的推理框架，发现即使是最好的系统也只有 25% 的分数。因此，我们的基准测试说明了自主数据驱动发现的挑战，并成为社区取得进步的宝贵资源。

1 引言

2 相关工作