多模态大模型评测数据集(一)_ai2d benchmark-优快云博客

1.A-bench

benchmark地址:https://github.com/Q-Future/A-Bench
数据集地址：https://huggingface.co/datasets/q-future/A-Bench/tree/main

A-Bench数据集用来测试大模型是否能评估由AI生成的图片，它测试模型2方面的能力，语义理解和质量感知。

A-Bench-P1 → 高级语义理解，A-Bench-P2 → 低级质量感知。对于高级语义理解，A-Bench-P1针对三个关键领域：基本识别、词袋陷阱辨别和外部知识实现，旨在逐步测试 LMM 在 AIGI 语义理解方面的能力，从简单到复杂的提示相关内容。对于低级质量感知，A-Bench-P2专注于技术质量感知、美学质量评估和生成性扭曲评估，旨在涵盖常见的质量问题和 AIGI 特定的质量问题。

具体来说，我们编制了一个包含 2,864 个 AIGI 的综合数据集，这些 AIGI 来源于各种 T2I 模型，其中包括 1,408 个A-Bench-P1 AIGI和 1,456 个A-Bench-P2 AIGI 。每个 AIGI 都与一个由人类专家注释的问答集配对。

2.AI2D

数据集地址
ai2d: https://huggingface.co/datasets/lmms-lab/ai2d
ai2d-mo-mask:https://huggingface.co/datasets/lmms-lab/ai2d-no-mask
AI2 Diagrams (AI2D) 是一个包含超过 5000 个小学科学图表的数据集，具有超过 150000 个丰富的注释、它们的基本事实句法解析以及超过 15000 个相应的多项选择题

3.AesBench

benchmark地址: https://github.com/yipoh/AesBench
数据集地址：

旨在全面评估 MLLM 的审美感知能力的专家基准
多模态大型语言模型 (MLLM) 正在蓬勃发展，促进了日常生活中的人机交互和协作。然而，它们在理解图像美学方面的能力在很大程度上仍未被探索。这可能会阻碍高级 MLLM 在现实世界场景中的应用，例如艺术设计和图像生成。为了解决这一难题，我们引入了 AesBench，这是一个专家基准，用于系统地评估 MLLM 的美学理解能力。在该基准中，首先从美学专家那里收集高质量的注释，并在此基础上构建美学理解基准数据集。此外，我们设计了一套综合标准，从四个由浅入深的视角评估 MLLM，包括感知 (AesP)、同理心 (AesE)、评估 (AesA) 和解释 (AesI)。我们希望这项工作可以鼓励社区更深入地研究 MLLM 在图像美学理解中尚未开发的潜力。