【General Agent Benchmark】论文分享：GAIA

论文名称：GAIA: a benchmark for General AI Assistants

论文链接：https://arxiv.org/abs/2311.12983

机构：Meta + Huggingface + AutoGPT

评测集链接：https://huggingface.co/datasets/gaia-benchmark/GAIA

榜单链接：https://huggingface.co/spaces/gaia-benchmark/leaderboard

简介

GAIA(General AI Assistants Benchmark)是由Meta、HuggingFace和AutoGPT团队联合推出的基准测试，旨在评估通用AI助手在现实场景中处理多步骤推理、工具使用和多模态任务的能力。

任务设计原则

GAIA聚焦于对人类简单但对AI困难的任务，例如需要多工具协作的日常查询(如网页搜索+数据分析+逻辑推理)。其问题源自真实场景，如计算临床试验注册人数、解析政府文件中的营养成分标准等。

分级难度体系

• Level1(基础任务)：单一步骤或简单工具使用(如基本搜索/计算)，例如法国的首都是什么？。

• Level2(中级任务)：5-10步操作及多工具协同，例如分析PDF图表后生成销售额增长报告。

• Level3(高级任务)：开放式复杂任务，例如解析NASA历史图片中的宇航员信息并关联数据库查询，需自主规划步骤链和工具组合。

多模态与工具集成

测试涵盖文本、图像、表格、网页浏览等多