革命性GUI Agent工具UI-TARS-desktop：让自然语言控制电脑成为现实
项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop 你是否还在为繁琐的电脑操作步骤感到困扰？是否希望能用日常对话的方式轻松控制电脑完成各种任务？UI-TARS-desktop正是为解决这些痛点而生的革命性工具。作为一款基于UI-TARS（Vision-Language Model，视觉语言模型）的GUI Agent（图形用户界面智能体）应用，它让你通过自然语言指令控制电脑成为现实。读完本文，你将了解如何快速上手这款工具，掌握其核心功能和使用技巧，开启高效智能的电脑使用新体验。
项目概述
UI-TARS-desktop是一个原生GUI智能体应用，它能够让你通过自然语言指令控制本地计算机。该项目基于UI-TARS模型和Seed-1.5-VL/1.6系列模型构建，旨在为用户提供一种更自然、更智能的人机交互方式。
核心功能
UI-TARS-desktop具备以下核心特性：
- 🤖 由视觉语言模型驱动的自然语言控制
- 🖥️ 截图和视觉识别支持
- 🎯 精确的鼠标和键盘控制
- 💻 跨平台支持（Windows/MacOS/浏览器）
- 🔄 实时反馈和状态显示
- 🔐 隐私安全 - 完全本地处理
项目官方文档：README.md
快速开始
系统要求
在开始使用UI-TARS-desktop之前，请确保你的系统满足以下要求：
下载与安装
下载
你可以从项目的发布页面下载UI-TARS Desktop的最新版本。
如果你已安装Homebrew，可以通过以下命令安装UI-TARS Desktop：
brew install --cask ui-tars
MacOS安装
-
将UI TARS应用拖入应用程序文件夹
-
在MacOS中为UI TARS启用权限：
- 系统设置 -> 隐私与安全性 -> 辅助功能
- 系统设置 -> 隐私与安全性 -> 屏幕录制
-
打开UI TARS应用，你将看到以下界面：
Windows安装
运行安装程序后，你将看到以下界面： 
详细安装指南：快速开始
模型配置与运行
UI-TARS-desktop支持多种模型配置，以下是两种常用的配置方式：
UI-TARS-1.5 on Hugging Face
-
在Hugging Face页面点击右上角的
Deploy from Hugging Face按钮
-
选择模型UI-TARS-1.5-7B
-
参考README_deploy.md获取详细部署说明，以获得Base URL、API Key和Model Name。
-
打开UI-TARS Desktop应用的设置并配置：
Language: en
VLM Provider: Hugging Face for UI-TARS-1.5
VLM Base URL: https:xxx
VLM API KEY: your_api_key
VLM Model Name: xxx
[!NOTE]
- 对于VLM Provider，请确保选择"Hugging Face for UI-TARS-1.5"以确保正确的VLM Action解析。
- 关于VLM Base URL和VLM Model Name，你可以查看Hugging Face端点页面获取详细信息。请确保Base URL以'/v1/'结尾。
-
点击按钮开始新的对话
-
输入命令开始一轮GUI操作任务！
Doubao-1.5-UI-TARS on VolcEngine
-
点击页面右上角的
Try (立即体验)按钮
-
点击
API inference (API 接入)链接
-
从抽屉面板的STEP 1中获取你的API Key
-
在STEP 2中，验证你的用户信息并切换到OpenAI SDK选项卡以获取Base Url和Model name：
-
打开UI-TARS Desktop应用的设置并配置：
Language: cn
VLM Provider: VolcEngine Ark for Doubao-1.5-UI-TARS
VLM Base URL: https://ark.cn-beijing.volces.com/api/v3
VLM API KEY: YOUR_API_KEY
VLM Model Name: doubao-1.5-ui-tars-250328
[!NOTE] 对于VLM Provider，请确保选择"VolcEngine Ark for Doubao-1.5-UI-TARS"以确保正确的VLM Action解析。
- 开始新对话前选择所需的使用场景
[!NOTE] 在使用
Browser Operator模式之前，请确保你的设备上已安装Chrome、Edge或Firefox浏览器。
- 输入命令开始一轮GUI操作任务！
使用场景展示
UI-TARS-desktop能够处理各种复杂的GUI操作任务，以下是一些典型的使用场景：
本地计算机操作
你可以通过自然语言指令让UI-TARS-desktop帮你完成各种桌面操作任务。例如："请帮我打开VS Code的自动保存功能，并将自动保存操作延迟500毫秒"。
浏览器操作
UI-TARS-desktop还可以控制浏览器完成各种网页操作。例如："请帮我查看GitHub上UI-TARS-Desktop项目的最新开放issue"。
工作流程自动化
通过组合多个操作，UI-TARS-desktop可以帮助你自动化完成整个工作流程。例如，从网页获取数据，在本地应用中处理，然后生成报告并发送邮件。
更多使用案例，请查看项目的展示页面。
进阶配置
系统设置
UI-TARS-desktop提供了丰富的设置选项，让你可以根据自己的需求定制应用行为。你可以配置语言、VLM提供商、API密钥等参数。
详细设置指南：设置配置指南
预设配置
为了提高使用效率，UI-TARS-desktop支持预设配置功能。你可以创建不同场景的预设，以便快速切换工作环境。
预设配置文件示例：examples/presets/default.yaml
预设使用指南：预设指南
总结与展望
UI-TARS-desktop作为一款革命性的GUI Agent工具，通过自然语言控制电脑的方式极大地简化了人机交互过程。它不仅支持本地计算机操作，还能控制浏览器完成各种网页任务，为用户提供了一种全新的、高效的电脑使用体验。
随着AI技术的不断发展，我们有理由相信UI-TARS-desktop将在未来提供更强大、更智能的功能。无论是日常办公、学习还是娱乐，UI-TARS-desktop都能成为你得力的数字助手，帮助你更轻松地完成各种复杂任务。
如果你对项目感兴趣，欢迎通过以下方式参与社区交流：
立即体验UI-TARS-desktop，开启你的智能电脑控制之旅！别忘了点赞、收藏本文，关注项目更新，获取最新功能和使用技巧。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
