FRONTIERMATH: A BENCHMARK FOR EVALUATING ADVANCED MATHEMATICAL REASONING IN AI

本文是LLM系列文章，针对《FRONTIERMATH: A BENCHMARK FOR EVALUATING ADVANCED
MATHEMATICAL REASONING IN AI》的翻译。

摘要

我们介绍FrontierMath，这是一个由专家数学家精心设计和审查的数百个原创、极具挑战性的数学问题的基准。这些问题涵盖了现代数学的大多数主要分支——从数论和实分析中的计算密集型问题到代数几何和范畴论中的抽象问题。解决一个典型的问题需要相关数学分支的研究人员花费数小时的努力，而对于高端问题，则需要数天的时间。FrontierMath使用新的、未发表的问题和自动验证来可靠地评估模型，同时最大限度地降低数据污染的风险。目前最先进的人工智能模型解决了不到