OmniParser 使用指南

OmniParser 使用指南

OmniParser A simple screen parsing tool towards pure vision based GUI agent 项目地址: https://gitcode.com/gh_mirrors/omn/OmniParser

1. 项目介绍

OmniParser 是一个开源的屏幕解析工具，旨在为纯视觉基础的图形用户界面（GUI）代理提供全面的解析能力。它能够将用户界面截图解析成结构化且易于理解的元素，极大地提升了GPT-4V生成精确界面动作的能力。

2. 项目快速启动

首先，您需要克隆仓库并设置环境：

cd OmniParser
conda create -n "omni" python==3.12
conda activate omni
pip install -r requirements.txt

确保在 weights 文件夹中下载了V2模型的权重文件。如果没有，可以使用以下命令下载：

for f in icon_detect/{train_args.yaml,model.pt,model.yaml} icon_caption/{config.json,generation_config.json,model.safetensors}; do huggingface-cli download microsoft/OmniParser-v2.0 "$f" --local-dir weights; done
mv weights/icon_caption weights/icon_caption_florence

运行以下命令启动Gradio演示：

python gradio_demo.py

3. 应用案例和最佳实践

应用案例

• 自动化测试：使用OmniParser解析界面元素，自动化测试人员可以编写脚本来模拟用户交互。
• 界面辅助：为视觉障碍人士提供界面元素的语音描述。

最佳实践

• 在构建训练数据管道时，使用OmniParser和OmniTool进行本地日志记录。
• 利用OmniTool控制Windows 11虚拟机，并与您选择的视觉模型配合使用。

4. 典型生态项目

• OpenAI：集成OmniParser，利用OpenAI的模型进行界面解析。
• DeepSeek：结合DeepSeek的模型，提升屏幕解析的准确性。
• Qwen：使用Qwen模型，为GUI提供智能交互支持。

通过以上步骤，您可以开始使用OmniParser进行界面解析，并根据具体的应用场景进行相应的开发和优化。

OmniParser A simple screen parsing tool towards pure vision based GUI agent 项目地址: https://gitcode.com/gh_mirrors/omn/OmniParser