UI-TARS桌面版快速入门指南：从安装到模型部署全流程解析

UI-TARS桌面版快速入门指南：从安装到模型部署全流程解析

UI-TARS-desktop A GUI Agent application based on UI-TARS(Vision-Lanuage Model) that allows you to control your computer using natural language. 项目地址: https://gitcode.com/gh_mirrors/ui/UI-TARS-desktop

前言

UI-TARS桌面版是一款基于先进视觉语言模型(VLM)的智能GUI操作工具，能够通过自然语言指令完成各种桌面操作任务。本文将详细介绍UI-TARS桌面版的安装配置流程，以及如何对接不同模型服务，帮助开发者快速上手这一强大工具。

环境准备

在开始安装前，请确保满足以下条件：

1. 操作系统要求：

   • 支持macOS和Windows系统
   • 目前仅支持单显示器配置，多显示器可能导致部分任务失败

2. 浏览器要求（如需使用浏览器操作模式）：

   • Chrome（稳定版/测试版/开发版/Canary版）
   • Edge（稳定版/测试版/开发版/Canary版）
   • Firefox（稳定版/测试版/开发版/Nightly版）

安装步骤

macOS系统安装

1. 应用安装：

   • 下载完成后，将"UI TARS"应用拖拽至"应用程序"文件夹

2. 权限配置：

   • 进入系统设置 > 隐私与安全性 > 辅助功能，启用UI TARS权限
   • 进入系统设置 > 隐私与安全性 > 屏幕录制，添加UI TARS权限

3. 启动应用：

   • 完成上述步骤后，打开UI TARS应用即可看到主界面

Windows系统安装

Windows版本安装更为简单，直接运行安装程序即可完成安装并看到应用主界面。

模型部署与配置

UI-TARS桌面版支持对接多种模型服务，下面分别介绍两种主流模型的配置方法。

方法一：Hugging Face上的UI-TARS-1.5模型

1. 模型部署：

   • 在Hugging Face平台找到UI-TARS-1.5-7B模型
   • 点击"Deploy from Hugging Face"按钮开始部署

2. 获取连接信息：

   • 按照部署指南获取Base URL、API Key和Model Name
   • 确保Base URL以'/v1/'结尾

3. 应用配置：

   Language: en
   VLM Provider: Hugging Face for UI-TARS-1.5
   VLM Base URL: 您的Base URL
   VLM API KEY: 您的API Key
   VLM Model Name: 您的模型名称
   

方法二：VolcEngine上的Doubao-1.5-UI-TARS模型

1. 访问模型页面：

   • 登录VolcEngine平台，找到Doubao-1.5-UI-TARS模型

2. 获取API信息：

   • 点击"立即体验" > "API接入"
   • 在STEP 1获取API Key
   • 在STEP 2的OpenAI SDK标签页获取Base Url和Model name

3. 应用配置：

   Language: cn
   VLM Provider: VolcEngine Ark for Doubao-1.5-UI-TARS
   VLM Base URL: https://ark.cn-beijing.volces.com/api/v3
   VLM API KEY: 您的API Key
   VLM Model Name: doubao-1.5-ui-tars-250328
   

使用指南

1. 场景选择：

   • 在开始新会话前，选择适合的使用场景

2. 任务执行：

   • 输入自然语言指令，UI-TARS将自动解析并执行相应的GUI操作
   • 如需使用浏览器操作模式，请确保已安装支持的浏览器

3. 注意事项：

   • 选择正确的VLM Provider对应用性能至关重要
   • 不同模型的语言支持可能不同，请根据模型特性选择合适的语言设置

进阶配置建议

为了获得最佳使用体验，建议进一步了解：

1. 详细设置指南：优化VLM/聊天参数配置
2. 模型部署细节：深入了解不同模型的部署方法
3. 性能调优：根据硬件配置调整相关参数

结语

通过本文的指导，您应该已经完成了UI-TARS桌面版的安装和基本配置。这款工具将显著提升您的GUI操作效率，无论是日常办公还是开发测试，都能带来全新的体验。如需了解更多高级功能，建议参考官方详细文档。

UI-TARS-desktop A GUI Agent application based on UI-TARS(Vision-Lanuage Model) that allows you to control your computer using natural language. 项目地址: https://gitcode.com/gh_mirrors/ui/UI-TARS-desktop