从高考到奥林匹克竞技场：大模型与人类智能的终极较量

在未来，我们有理由相信，随着AI技术的不断成熟和应用场景的不断拓展，OlympicArena将不仅仅是一个评估AI能力的赛场，更将成为一个展示AI在各个领域应用潜力的舞台。

上海交通大学生成式人工智能实验室 (GAIR Lab) 的研究团队，主要研究方向是：大模型训练、对齐与评估。团队主页：https://plms.ai/

图灵奖得主Hinton在他的访谈中提及「在未来20年内，AI有50%的概率超越人类的智能水平」，并建议各大科技公司早做准备，而评定大模型（包括多模态大模型）的「智力水平」则是这一准备的必要前提。

一个具有跨学科问题集、可以从多维度严谨评估AI的认知推理能力评估基准已经变得相当亟需。

1. 大模型不断占领人类智力高地：从小学试题到参加高考

以大模型为核心的生成式人工智能技术的兴起，使得人类不仅有了可交互的文本、图片、视频交互生成工具，还使得人类有机会训练出一个”有智力“能力的模型，它可以看成是人类延申的大脑，独立完成不同学科问题，成为未来10年可以给科学发现提供加速度的最有力的工具（即AI4Science)。

过去两年，我们看到这种以大模型为代表的硅基智能的快速进化，从最初只能用来去解决小学题目, 到2022年，CMU等人[1]第一次把AI带到了