VisualAgentBench 安装与配置指南

VisualAgentBench 安装与配置指南

1. 项目基础介绍

VisualAgentBench（VAB）是一个用于系统评估和发展大型多模态模型（LMMs）作为视觉基础代理的第一个基准测试。它包含5个不同的环境，跨越3种代表性的视觉代理任务类型：Embodied（Embodied环境）、GUI（图形用户界面任务）和Visual Design（视觉设计任务）。项目主要使用Python语言编写。

2. 项目使用的关键技术和框架

• 多模态模型：VAB旨在评估能够处理视觉输入的模型，这些模型能够作为基础代理执行各种任务。
• AgentBench框架：作为项目的基础框架，用于高效可靠的并行代理评估。
• Docker：用于创建容器化的环境，确保环境的可复现性和一致性。
• OpenAI API：用于集成一些模型，如GPT-4等。

3. 项目安装和配置的准备工作

在开始安装之前，请确保您的系统满足以下要求：

• Python 3.9或更高版本
• Docker环境（确保已安装并且能够运行）
• Git（用于克隆项目）

详细安装步骤

第1步：克隆项目

首先，您需要在您的计算机上克隆这个项目：

git clone https://github.com/THUDM/VisualAgentBench.git
cd VisualAgentBench

第2步：创建Python虚拟环境并安装依赖

接着，创建一个Python虚拟环境并激活它，然后安装项目所需的依赖：

conda create -n vab python=3.9
conda activate vab
pip install -r requirements.txt

第3步：配置代理

在configs/agents/openai-chat.yaml文件中填写您的OpenAI API密钥。

第4步：启动任务服务器

使用以下命令启动任务服务器：

python -m src.start_task -a

请注意，此步骤假设端口5000到5015是可用的。如果在Mac OS系统上，您可能需要释放端口5000以供使用。

第5步：启动任务分配器

最后，启动任务分配器以开始任务：

python -m src.assigner --auto-retry

完成以上步骤后，您应该能够成功安装和配置VisualAgentBench项目，并开始评估和开发大型多模态模型作为视觉基础代理。