BIBench: Benchmarking Data Analysis Knowledge of Large Language Models

本文是LLM系列文章，针对《BIBench: Benchmarking Data Analysis Knowledge of Large Language
Models》的翻译。

摘要

大型语言模型（LLM）已经在广泛的任务中展示了令人印象深刻的功能。然而，他们在数据分析专业领域的熟练程度和可靠性，特别是在关注数据驱动思维的情况下，仍然不确定。为了弥补这一差距，我们引入了BIBench，这是一个全面的基准测试，旨在评估商业智能（BI）背景下LLM的数据分析能力。BIBench从三个维度评估LLM：1）BI基础知识，评估模型的数字推理和对金融概念的熟悉程度；2） BI知识应用，确定模型快速理解文本信息和从多个视图生成分析问题的能力；以及3）BI技术技能，检查模型对技术知识的使用，以应对现实世界中的数据分析挑战。BIBench包含11个子任务，涵盖三类任务类型：分类、提取和生成。此外，我们还开发了BIChat，这是一个具有超过一百万个数据点的特定领域数据集，用于微调LLM。我们将在https://github.com/cubenlp/BIBench发布BIBenchmark、BIChat和评估脚本。该基准旨在为LLM能力的深入分析提供一种衡量标准，并促进LLM在数据分析领域的进步。

1 引言

2 相关工作

3 BI基准

4 BIchat

5 结论

在这项工作中，我们提出了BIBench，这是一个评估大型语言模型在数据分析领域能力的评估基准，包括在三