Sikulix使用心得

墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 200+累计阅读 253平均单平台已同步平台优快云微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网我也要 → 码龄14年

关注

原创 2025-06-26 15:24:19 253 阅读 AI 写同款· GEO 优化 ›

Sikuli-x---图片自动化工具的使用 1.Sikuli-x简介 Sikuli是识别和控制GUI组件进行UI自动化测试的技术，它是有MIT的研究人员开发进行设计的。Sikuli在墨西哥维乔印第安人(Huichol Indians)的语言里是上帝之眼的意思，Sikuli的工作模式与人眼一样，直接识别图像。 Sikuli-x是Sikuli的最新版本，支持Mac OS X、Windows 和 Linux 操作系统的自动化操作 Sikul... 阅读详情

官网下载jar包，直接运行
调用操作命令
操作命令内放图片，图片需要用SikulixIDE自带的截图工具，截图（尝试过其它截图工具，即使都是png格式，但是依然不识别，还没研究清除为啥）
使用Sikulix创建的case，图片识别驱动效果比较好，也尝试过其它工具，同样截图执行，但存在confidence特别低不识别的情况。
下一步，探索如何在python中使用代码执行。

关注博主即可阅读全文

收录于

当前文章被以下社区和专栏收录：

标签

#测试工具 #jira #功能测试 #测试用例

基于图片识别的 UI 自动化测试工具 SikuliX SikuliX 是一款开源的 GUI自动化测试工具,它的前身是 Sikuli(上帝之眼).不同于传统的 UI自动化测试工具, SikuliX 在执行鼠标键盘自动化时是基于图片识别的,也就是说我们的脚本逻辑可以由"鼠标移动到坐标 x,y"变成"鼠标移动到指定图案上" 阅读详情

相关推荐

SikuliX图像识别自动化：从零基础到实战应用指南

本文详细介绍了SikuliX图像识别自动化工具的使用教程，从基础概念到实战应用。SikuliX通过图像识别技术模拟人类操作，适用于办公自动化、游戏自动化、软件测试等多个场景。文章包含安装配置指南、核心功能解析及常见问题解决方案，帮助用户快速掌握这一高效自动化工具。

z2a3b4c5d的博客 197

如何系列如何使用SikuliX执行自动化任务

SikuliX（西库里）可自动执行在运行Windows，Mac或某些Linux / Unix的台式计算机屏幕上看到的所有内容。它使用OpenCV提供的图像识别功能来识别GUI组件。在无法轻松访问GUI内部或要操作的应用程序或网页的源代码的情况下，这非常方便。SikuliX支持脚本语言Python语言级别2.7（由Jython支持）支持运行RobotFramework文本脚本Ruby语言级别1.9和2.0（由JRuby支持）JavaScript（由Java脚本引擎支持）

laker的博客 1万+

桌面端自动化测试工具选型与实战：从Pywinauto到Playwright的工程实践

自动化测试是现代软件工程中保障质量、提升效率的核心实践，其原理是通过脚本模拟用户操作并验证系统行为。在桌面端测试领域，技术价值尤为突出，它能实现测试过程的可重复、高覆盖与快速反馈，为持续集成和敏捷开发提供坚实基础。应用场景广泛覆盖从传统Win32/WPF应用到基于Electron、Qt等现代框架的跨平台软件。针对不同技术栈，工程师需掌握多元化的工具生态，例如对于Windows原生应用，可选用基于Python的Pywinauto或遵循W3C标准的WinAppDriver；而对于采用Chromium内核的Ele

weixin_28829479的博客 351

Sikulix图形自动化入门知识

简介： Sikuli 是一种新颖的图形脚本语言，或者说是一种另类的自动化测试技术。它与我们常用的自动化测试技术（工具）有很大的区别。他可以实现如下功能，举例子： Sikulix #提示：左边的Silulix即是Sikulix自动输入的：当运行代码时，sikulix进行图像识别，并且定位图像位置，进行type("\nSikulix\n")操作，此操作为在指定...

库库西里专栏 2万+

微信桌面版RPA脚本UI元素探测：混合定位策略与实战解决方案

UI自动化是机器人流程自动化（RPA）的核心技术，它通过模拟用户操作实现业务流程自动化。其原理是借助操作系统的辅助功能接口（如Windows的UI Automation）或图像识别技术，定位并操控界面元素。这项技术的价值在于能够高效处理重复性任务，提升工作效率与准确性，广泛应用于数据采集、表单填写、系统集成等场景。然而，在面对像微信桌面版这类采用混合渲染架构（融合原生控件、Web视图和自定义绘制）的复杂应用时，传统的单一元素定位方法极易失效，导致脚本运行不稳定。本文聚焦于解决这一痛点，深入探讨如何结合属性探

weixin_30421809的博客 449

基于视觉与模拟输入的隐藏迷宫自动探索与地图绘制工具

在游戏开发和自动化测试领域，计算机视觉与模拟输入技术是实现非侵入式交互的关键。其原理是通过图像识别算法分析屏幕像素信息，并结合模拟键盘或鼠标指令来控制外部程序。这项技术的核心价值在于，它能在不修改目标程序内存或代码的前提下，实现自动化操作与状态感知，极大地提升了工具的通用性与安全性。典型的应用场景包括游戏自动化测试、辅助工具开发以及重复性任务的脚本编写。本文聚焦于一个具体实践——Hidden Maze Mapper，它正是运用了OpenCV进行图像处理和PyAutoGUI实现输入模拟，构建了一个能够自动探索

weixin_30906185的博客 335

SIKULIX效率对比：比传统测试快3倍的秘密

上完成的，它的在线编辑器可以直接运行Python脚本，还能一键部署测试报告页面，特别适合这种需要快速验证想法的场景。实际使用下来，最方便的是不需要配置本地环境，打开网页就能写代码看结果，对于自动化测试这种需要频繁调试的工作效率提升很明显。最近在做一个UI自动化测试的项目时，发现传统基于元素定位的Selenium测试脚本维护成本越来越高，于是尝试了基于图像识别的SIKULIX方案。特别是当需要给团队演示测试结果时，一键部署功能可以直接生成可访问的测试报告，省去了搭建展示环境的步骤。

SapphireOwl29的博客 575

UI.Vision RPA：开源跨平台自动化工具从入门到精通

RPA（机器人流程自动化）是一种模拟人类在计算机界面执行重复性任务的技术，其核心原理是通过录制或脚本控制鼠标、键盘及图像识别来操作软件。这项技术的价值在于将人力从繁琐的规则化工作中解放出来，提升效率与准确性，广泛应用于数据搬运、报表生成、软件测试和跨系统集成等场景。本文聚焦于UI.Vision RPA这一开源解决方案，它融合了宏录制与脚本扩展能力，支持Web与桌面自动化。通过解析其双引擎架构（Web自动化与图像识别）、数据驱动和错误处理机制，并结合Selenium IDE与SikuliX等热词技术，展示了如

java2000.net 395

RobotFramework SikuliLibrary 学习心得

最近在学习RobotFramework SikuliLibrary ，以下是我的学习心得 1.个人觉得非常的好用，开源、免费、上手快、安装容易。针对于单台电脑识别率比较高，可以自己调配图片匹配度。 2.多用按键操作，代替图片识别，为以后升级或者迁到别的电脑减少工作 3.截的图片如果想到别的大屏幕的电脑或者win10和win7平台的切换，目前还是得重新进行切图 4.关于按键的使用，由于跑程序时，需要使用英文而输入法一不小心就会变成英文，楼主在想同时SHIFT+CTRL按钮切换输入法。使用 T...

chengxuyuan20100425的专栏 1070

游戏测试全解析：从功能到安全的完整质量保障体系

软件测试是确保产品质量的关键环节，其核心原理是通过系统化的方法验证功能、性能与稳定性，以发现并修复缺陷。在游戏开发领域，这一技术价值尤为突出，直接关系到用户体验与商业成功。游戏测试作为软件测试的重要分支，不仅涵盖功能验证，更需应对兼容性、性能、安全等复杂挑战。其应用场景贯穿从原型到上线的全生命周期，涉及移动端、PC端及网络环境下的多维度验证。本文聚焦游戏测试的实战体系，深入探讨功能测试、兼容性测试、性能测试及安全测试等核心模块，并融入缺陷管理与自动化测试等关键实践，为构建高效的质量保障流程提供系统化指导。

weixin_34183910的博客 467

车载测试工程师三年实战：从功能到通信的完整技能栈与避坑指南

软件测试是确保软件质量的关键环节，其核心原理是通过系统化的验证与确认活动，发现缺陷并评估产品是否满足需求。在汽车产业“软件定义汽车”的浪潮下，软件测试的技术价值尤为凸显，它直接关系到智能终端的功能安全与用户体验。随着车载软件复杂度指数级增长，测试活动已从传统的功能验证，扩展到对复杂嵌入式系统、实时网络通信和高可靠性工程的全面保障。其应用场景贯穿于智能座舱信息娱乐、车身控制、自动驾驶辅助以及整车OTA升级等核心领域。本文聚焦于**车载测试**这一专业方向，系统梳理了其在**功能测试**、**网络通信测试**（

weixin_33853827的博客 409

企业级智能体落地难在哪？五座系统适配大山实战拆解

企业智能体并非简单调用大模型，而是面向真实业务系统的深度适配工程。其核心挑战在于将AI能力嵌入既有ERP、CRM等异构系统时，必须同步解决系统接口不稳定性、动态漂移的审批流程、洋葱式嵌套权限、领域黑话与潜规则语义、以及无形却强大的组织惯性这五大结构性障碍。这些障碍共同构成企业AI落地的‘适配鸿沟’，远超模型性能本身。技术价值体现在打通关键业务断点（如自动填单、跨系统状态同步），支撑财务、供应链、法务等高合规场景的稳定交付。本文聚焦一线实战中反复验证的断点测绘、三层胶水架构、影子模式验证等可复用方法论。

weixin_34221036的博客 358

AI赋能WebDriver自动化测试：LLM与CV技术实战指南

自动化测试是软件质量保障的核心环节，其核心原理是通过脚本模拟用户操作，验证软件功能与预期的一致性。传统基于WebDriver的脚本依赖稳定的元素定位器，面临页面频繁变更导致脚本脆弱的挑战。AI技术的引入，特别是大语言模型和计算机视觉，为解决这一痛点提供了新的技术价值。大语言模型能够理解自然语言意图并生成可执行代码，显著降低脚本编写门槛；计算机视觉则能通过图像识别与OCR技术，辅助或替代传统定位方式，增强脚本的适应性。这些技术共同应用于UI自动化测试场景，能够实现智能元素定位、自然语言转测试脚本以及自愈测试等

weixin_34187862的博客 409

测试开发工具链实战指南：从自动化到性能监控的完整兵器库

软件测试是保障产品质量的关键环节，其核心原理是通过系统化的验证手段发现潜在缺陷。在工程实践中，自动化测试、性能测试与网络协议分析构成了现代测试体系的三大技术支柱。自动化测试通过脚本替代重复劳动，显著提升回归效率；性能测试则模拟高并发场景，评估系统稳定性和扩展性。这些技术的价值在于能够无缝集成到CI/CD流水线中，实现质量左移，广泛应用于互联网、金融、物联网等对软件可靠性要求极高的领域。本文聚焦测试开发工程师的实战工具链，深入解析Selenium、JMeter、Fiddler等主流工具在自动化测试、性能压测和

weixin_30443813的博客 401

Midscene.js实战：三步构建AI视觉驱动的自动化测试方案

自动化测试是保障软件质量的关键环节，其核心原理在于模拟用户操作以验证功能正确性。传统基于DOM元素定位的技术（如XPath、CSS选择器）在面对动态内容、频繁迭代的UI时，常因选择器脆弱导致维护成本高昂。AI视觉测试技术通过计算机视觉模型识别屏幕元素，从根本上提升了测试脚本的健壮性，其技术价值在于能够像真实用户一样“看到”并操作界面，尤其擅长处理Canvas渲染、游戏界面等非标准控件。这一技术在实际应用中，能有效应对UI频繁变更、跨平台适配等场景，显著降低测试维护成本。本文聚焦的Midscene.js，正是

chuanjiaoye5017的博客 506

Selenium自动化测试：从核心原理到框架设计的面试通关指南

自动化测试是现代软件质量保障的核心环节，其核心原理在于模拟用户操作，通过脚本驱动应用程序完成验证。Selenium WebDriver作为主流的Web自动化工具，基于W3C标准，采用客户端-服务器架构，通过浏览器驱动与真实浏览器通信，实现了跨平台、跨语言的测试能力。掌握其原理不仅能编写脚本，更能构建稳定、可维护的测试框架，提升测试效率与可靠性。在**Page Object Model (POM)** 设计模式中，通过将页面元素与操作封装成对象，实现了业务逻辑与定位细节的分离，极大增强了代码的可读性和可维护性

weixin_34268579的博客 423

连点器原理与Python自动化脚本实战：从系统API到图像识别

自动化脚本技术通过模拟用户操作来提升工作效率，其核心原理在于对操作系统输入事件的控制。在技术实现层面，主要分为基于系统API的底层模拟和基于图像识别的智能交互两种路径。系统API调用（如Windows的SendInput、macOS的CGEvent）能够直接注入鼠标键盘事件，实现稳定高效的操作模拟；而图像识别技术则通过OpenCV等库进行屏幕元素匹配，使脚本具备视觉判断能力，适应动态界面。这两种方法在Python生态中已有成熟封装，例如pyautogui库便集成了坐标点击与图像定位功能。其技术价值在于将人力

靓靓软件工作室 463

测试工程师AI转型实战：从NLP用例关联到缺陷预测的进阶之路

软件测试是保障软件质量的关键环节，其核心原理在于通过系统性的验证与确认活动，发现并预防缺陷。随着人工智能技术的普及，AI不仅重塑了软件形态，也为测试领域带来了革命性的技术价值——从自动化执行迈向智能分析与决策。在应用场景上，AI能够赋能测试用例生成、缺陷预测、日志分析等环节，显著提升测试效率与深度。本文聚焦于测试工程师如何将AI技术落地实践，详细阐述了利用NLP实现需求与用例的智能关联，以及构建机器学习模型进行缺陷倾向性预测两大核心实战。通过将Sentence-BERT等模型与测试流程结合，工程师可以构建智

stevenbill的博客 374

上一篇：模型GFPGAN在个别人脸上产生的畸形重建矫正方法

下一篇：在python中读取matlab文件 — h5py读取.mat文件学习笔记

SikuliX图像识别自动化：从零基础到实战应用指南

z2a3b4c5d的博客

02-06

197