Can LLMs Master Math? Investigating Large Language Models on Math Stack Exchange

本文是LLM系列文章，针对《Can LLMs Master Math? Investigating Large Language Models on
Math Stack Exchange》的翻译。

摘要

大型语言模型（LLM）在各种自然语言任务中表现出了非凡的能力，其性能往往超过人类。尽管取得了这些进步，但数学领域仍面临着独特的挑战，主要是由于其专业结构和所需的精度。在这项研究中，我们采用了两步法来调查LLM在回答数学问题方面的熟练程度。首先，我们使用最有效的LLM，根据它们在数学问答基准测试中的表现来确定，从数学堆栈交换（MSE）中生成78个问题的答案。其次，对表现出最高性能的LLM进行案例分析，通过手动评估，重点关注其答案的质量和准确性。我们发现，在为回答数学问题而微调的现有LLM中，GPT-4表现最好（nDCG为0.48，P@10为0.37），并在考虑P@10的情况下，优于ArqMATH3 Task1上的当前最佳方法。我们的案例分析表明，虽然GPT-4在某些情况下可以产生相关响应，但它并不能始终如一地准确回答所有问题。本文探讨了LLM目前在解决复杂数学问题方面的局限性。通过案例分析，我们揭示了数学中LLM能力的差距，从而为未来人工智能驱动的数学推理的研究和进步奠定了基础。我们公开我们的代码和研究结果以供研究：https://github.com/gipplab/LLM-Investig-MathStackExchange。

1 引言

2 相关工作

3 数据集

4 方法

5 评估