OmniParser项目安装与配置指南

OmniParser项目安装与配置指南

OmniParser A simple screen parsing tool towards pure vision based GUI agent 项目地址: https://gitcode.com/gh_mirrors/omn/OmniParser

1. 项目基础介绍

OmniParser是一个开源项目，旨在为纯视觉基础的GUI代理提供屏幕解析工具。它能够将用户界面截图解析为结构化且易于理解的元素，从而显著提升GPT-4V生成精确对应界面区域动作的能力。项目主要使用Python语言开发。

2. 项目使用的关键技术和框架

• Python：项目的主要编程语言。
• YOLO模型：用于图标检测。
• BLIP模型：用于图标功能描述。
• HuggingFace：用于模型权重和配置文件的下载。
• Conda：用于创建独立的环境和安装依赖。

3. 项目安装和配置的准备工作

在开始安装之前，请确保您的系统中已经安装了以下软件：

• Python 3.12
• Conda
• Git

如果您的系统中没有安装上述软件，请先进行安装。

项目安装步骤

1. 克隆项目仓库

   打开终端或命令提示符，使用以下命令克隆项目仓库：

   git clone https://github.com/microsoft/OmniParser.git
   

2. 创建虚拟环境

   进入项目目录，并创建一个名为“omni”的虚拟环境：

   cd OmniParser
   conda create -n omni python==3.12
   

3. 激活虚拟环境

   创建虚拟环境后，激活它：

   conda activate omni
   

4. 安装依赖

   使用以下命令安装项目所需的依赖：

   pip install -r requirements.txt
   

5. 下载模型权重

   确保模型权重已经下载到weights文件夹中。如果没有，使用以下命令下载：

   # 下载模型权重到本地weights目录
   for f in icon_detect/{train_args.yaml,model.pt,model.yaml} icon_caption/{config.json,generation_config.json,model.safetensors}; do huggingface-cli download microsoft/OmniParser-v2.0 "$f" --local-dir weights; done
   mv weights/icon_caption weights/icon_caption_florence
   

6. 运行示例

   在demo.ipynb文件中提供了几个简单示例，您可以根据需要进行查看和测试。

以上就是OmniParser项目的详细安装和配置指南。按照以上步骤操作，您应该能够成功安装并运行该项目。

OmniParser A simple screen parsing tool towards pure vision based GUI agent 项目地址: https://gitcode.com/gh_mirrors/omn/OmniParser