UI-TARS: 基于视觉语言模型的多模式代理

GitHub：https://github.com/bytedance/UI-TARS

更多AI开源软件：发现分享好用的AI工具、AI开源软件、AI模型、AI变现 - 小众AI

基于视觉语言模型（Vision-Language Model）的 GUI 代理应用，允许用户通过自然语言控制电脑操作。它结合了视觉识别和自然语言处理技术，能够理解用户的指令并执行相应的操作。

该应用支持跨平台运行，适用于 Windows 和 MacOS 系统。通过实时反馈和状态显示，用户可以直观地看到指令的执行情况，确保操作的精准性和高效性。

​

​

主要功能

• 自然语言控制：通过自然语言指令控制电脑操作，简化用户交互。
• 视觉识别支持：支持截图和视觉识别功能，能够识别屏幕内容并执行相应操作。
• 精准控制：提供精确的鼠标和键盘控制，确保操作的准确性。
• 跨平台支持：支持 Windows 和 MacOS 系统，满足不同用户的需求。
• 实时反馈：提供实时反馈和状态显示，帮助用户了解指令执行情况。

性能

Online Benchmark Evaluation

Benchmark type	Benchmark	UI-TARS-1.5	OpenAI CUA	Claude 3.7	Previous SOTA
Computer Use	OSworld (100 steps)	42.5	36.4	28	38.1 (200 step)
	Windows Agent Arena (50 steps)	42.1	-	-	29.8
Browser Use	WebVoyager	84.8