(9-1)MM-Vet多模态大模型评估系统：项目介绍

本项目（MM-Vet）是一套用于评估多模态模型性能的综合框架，主要围绕处理模型输出的自动评分、能力分析和综合得分生成展开，通过整合市面中主流的多模态大模型的 API 实现多轮评分功能，并支持细粒度的能力分类和组合能力评估。该系统包括数据加载、评估执行、结果导出等模块，能够灵活处理不同的输入数据集和评估需求。最终生成的结果以 JSON 和 CSV 文件形式保存，涵盖模型性能的详细统计和分析，是一个功能强大、可扩展的模型评估工具。

9.1  项目介绍

MM-Vet 是一个多模态大模型评估系统，专注于评估视觉-语言模型的综合能力，包括识别、OCR、知识推理、语言生成、空间感知和数学等核心技能的整合表现。本系统提供了数据集、在线评估器和代码工具，用户可以方便地评估自己的模型表现并将结果上传到排行榜，同时支持 GPT-4V、Gemini 等先进模型的推理脚本。

9.