
导航菜单
包含[登录](https://github.com/login?return_to=https%3A%2F%2Fgithub.com%2Fawlevin%2Ftypesafe-computer-use)和外观设置选项。
平台
涵盖AI代码创作、开发者工作流、应用程序安全和探索四个方面。AI代码创作有GitHub Copilot、GitHub Copilot应用和MCP注册表;开发者工作流包括Actions、Codespaces、Issues、代码审查和代码质量;应用程序安全涉及GitHub高级安全、代码安全和密钥保护;探索包含为何选择GitHub、文档、博客、更新日志和市场。还有[查看所有功能](https://github.com/features)选项。
解决方案
按公司规模划分有企业版、中小企业团队版、初创公司版和非营利组织版;按用例划分有应用程序现代化、DevSecOps、DevOps、CI/CD,还有[查看所有用例](https://github.com/solutions/use-case);按行业划分有医疗保健、金融服务、制造业、政府机构,以及[查看所有行业](https://github.com/solutions/industry)。最后有[查看所有解决方案](https://github.com/solutions)。
资源
按主题探索有AI、软件开发、DevOps、安全,以及[查看所有主题](https://github.com/resources/articles);按类型探索有客户案例、活动与网络研讨会、电子书与报告、商业洞察和GitHub技能;支持与服务包括文档、客户支持、社区论坛、信任中心和合作伙伴。还有[查看所有资源](https://github.com/resources)。
开源
社区方面有GitHub Sponsors;项目包括安全实验室、维护者社区、GitHub Stars和存档项目;仓库有主题、热门趋势和集合。
企业版
企业解决方案是企业平台,可用插件有GitHub高级安全、Copilot for Business和高级支持。还有[定价](https://github.com/pricing)。
搜索 `/`
有[登录](https://github.com/login?return_to=https%3A%2F%2Fgithub.com%2Fawlevin%2Ftypesafe-computer-use)、[注册](https://github.com/signup?ref_cta=Sign+up&ref_loc=header+logged+out&ref_page=%2F%3Cuser-name%3E%2F%3Crepo-name%3E&source=header-repo&source_repo=awlevin%2Ftypesafe-computer-use)和外观设置选项。若在其他标签页或窗口有登录、注销、切换账户等操作,需[重新加载]()刷新会话。还有awlevin/typesafe-computer-use(公开)相关信息,如通知、Fork(16)、Star(355)、代码、问题(4)、拉取请求(1)、Actions、项目、安全与质量(0)、洞察等。
其他导航选项
包括代码、问题、拉取请求、Actions、项目、安全与质量、洞察。还涉及主分支、分支、标签等。
最新提交
历史记录有[26次提交](https://github.com/awlevin/typesafe-computer-use/commits/main/)。
文件夹和文件
列出了多个文件夹和文件,如.github/workflows、docs、tests、typesafe_computer_use等,还有对应的链接及相关说明。最后有[查看所有文件](https://github.com/awlevin/typesafe-computer-use)。
仓库文件导航
有README、贡献指南、MIT许可证。还有更多项目相关的图片和徽章,如typesafe-computer-use、CI、MIT许可证、Python 3.12+、macOS、TypeSafe、Ruff等。
typesafe-computer-use介绍
typesafe-computer-use能让用户用普通英语输入目标,驱动Mac完成任务,每一步仅需约0.02美分。它不将屏幕截图发送给大模型,而是以确定性方式读取屏幕,通过小型分类器确定下一步操作,仅在文本字段确实需要自由文本时才调用写作模型,并给出了示例代码。
原因
前沿模型驱动计算机操作功能强大但成本高昂,而大多数步骤不需要复杂计划,只需快速、低成本选择并给出置信度。TypeSafe提供了决策模型,能在几百毫秒内对最多255个选项给出完整概率分布和校准后的置信度,并提供免费输出令牌,本项目围绕该模型构建计算机操作循环。还给出了不同类型在相同屏幕截图和目标下对比的表格,展示了输入令牌、每次决策成本、12步任务成本、模型延迟、端到端步骤等信息,体现了typesafe (jev)相比Claude Opus 5的成本优势和速度优势。同时说明大模型和本项目在某些功能实现上的差异。
安装
需要macOS 14或更高版本、Python 3.12或更高版本,以及[uv](https://docs.astral.sh/uv/)。给出了安装步骤,还列出了一些变量的信息,包括是否必需和用途。此外,要在系统设置 > 隐私与安全中为终端授予屏幕录制和辅助功能权限,否则会有相应问题。
使用方法
给出了不同使用场景的命令示例,如试运行、驱动机器执行、执行时间更长速度更慢的操作、捕获屏幕等。使用前需清空终端,停止实时运行有多种方式,获取答案时写作模型会读取停止时屏幕并打印结果,试运行和中止运行不会打印答案。
每一步的工作原理
详细介绍了每一步的工作流程,从屏幕捕获、视觉OCR到各种信息处理,再到TypeSafe请求和确定性操作等。还说明了项目携带来源信息的作用,以及将决策拆分为三个问题的原因和注意事项。
OCR成本
视觉OCR约占每一步成本的三分之二,按文本量计费,减少屏幕读取量是降低成本的关键。介绍了裁剪和复用两种降低成本的方法,以及时间线显示和使用`--image`进行回放时的情况。
辅助功能树
OCR无法识别图标,辅助功能树可弥补这一不足,每一步会遍历最前端进程查找带标签的屏幕内控件,不同应用程序的覆盖率不同。还说明了网页和不同类型应用中标签的位置,以及遍历过程的严格筛选规则和测试中的遍历时间。此外,该版本macOS不依赖某些辅助握手属性。
屏幕外控件
AXPress操作不需要元素可见,相同遍历过程会保留被筛选掉的带标签、可按压节点作为单独有限列表,该列表会去重、筛选,最多保留120个控件。只有列表不为空时才提供`press_offscreen`操作和`offscreen`选择,拒绝该操作视为无操作,遍历结果取决于应用程序。
操作空间
列出了不同操作键对应的操作,如`click_item`、`press_offscreen`、`use_browser`、`type_text`等。
自由文本的来源
分类器不生成文本,写作模型在三个地方运行,分别是`type_text`、`use_browser`(`site: other`)和最终答案,介绍了每个地方接收的信息和返回的内容,以及相关注意事项,如密码不输入等。
运行文件夹
每次运行结果会写入`runs/<时间戳>/`,介绍了该文件夹下不同文件的内容,每一步还会记录操作成本,可重现保存的屏幕捕获而不操作屏幕。
项目结构
列出了项目中不同模块的名称和功能,如macos.py、perception.py、dates.py等。若要移植到Linux系统,可进行相应替换。
3093



被折叠的 条评论
为什么被折叠?



