使用pyautogui来处理难以定位的元素

最新推荐文章于 2025-03-19 09:11:12 发布
原创 最新推荐文章于 2025-03-19 09:11:12 发布 · 2.7k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了一种在Python自动化测试中解决iframe框架内元素定位问题的方法，通过使用PyAutoGUI库获取并点击元素的像素位置坐标，适用于坐标固定的场景。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最近在新项目中，发现某个iframe框架定位不到。常用的元素定位方式都没法成功。最后使用pyautogui这个库来实现了元素点击操作

win10系统 python3.7

安装pyautogui库

pip install pyautogui

打开一个cmd命令行窗口
输入命令
python
import puautogui
pyautogui.displayMousePosition()
回车运行会发现在命令行中输出了像素位置坐标
在这里插入图片描述
这时将鼠标移到web系统里的元素所在位置，会输出该元素的坐标（这种定位方式适用于该元素坐标固定的情况）
在py用例里

import pyautogui as ui
@ddt
class TestSampleTemplate(unittest.TestCase):
	 @data(*SampleTemplate_data)
	 def test1_SampleTemplate_desc(self,test_info):
			 ui.click(x=549, y=250)
		     print('点击成功')
UI自动化教程 —— 元素定位技巧：精确找到你需要的页面元素
02-17 1102
在UI自动化测试中，准确地定位页面元素是至关重要的。无论是点击按钮、填写表单还是验证页面内容，都需要首先找到相应的页面元素。Playwright 提供了多种方法来实现这一点，包括使用CSS选择器和XPath进行元素定位，以及利用文本内容、属性值等高级策略。本文将详细介绍这些技术，并分享一些动态等待元素加载的最佳实践。
【Python】 Python 自动化办公 — `pyautogui` 图像定位与点击功能深度剖析
最新发布
宅男很神经
05-29 1432
是一个功能强大且易于上手的 Python 库，它允许您通过编写脚本来控制鼠标和键盘，从而实现图形用户界面（GUI）的自动化。与其他一些需要深入了解特定应用程序API或复杂UI结构的自动化工具不同， 的一个核心优势在于其基于图像识别的定位能力。这意味着，只要你能“看到”屏幕上的某个元素（如图标、按钮、特定文本区域）， 就能尝试定位并操作它，这使得它在处理那些没有提供便捷API的应用程序时尤为有效，并且在制作游戏辅助脚本等场景中也大有可为。在我们深入图像识别的海洋之前，快速回顾一下的基础知识和如何准备您的开发环
pyautogui 配合 selenium 实现桌面坐标系定位元素坐标，模拟真实鼠标行为，获取到的控件坐标有偏差
qq_36646336的博客
11-16 658
原因：通过selenium node.location获取的坐标是相当于浏览器实际内容窗口的坐标系，而不是电脑的相对坐标，不能满足pyautogui 直接去自动化操作。这时可以通过浏览器js 获取菜单等实际边框大小计算出 实际的node.location零点位置相对于桌面坐标的坐标系，从而得出元素在桌面坐标系的位置。问题：当我用webdriver获取到的元素坐标，加上偏移量，pyautogui来模拟鼠标操作元素，发现实际的元素坐标与获取到的元素坐标不一致，导致无法准确操作元素。
使用pyautogui实现坐标定位，自动化
lwdfzr的博客
05-29 1万+
pyautogui是一款自动化操作库，可以根据图片定位到坐标，其原理是截取一张桌面图片，然后根据传入的图片，去查找图片在桌面上的坐标，如果按照了opencv，则会优先使用opencv，否则使用pillow 使用pyautogui对上篇中的User-Agent Switcher扩展插件进行自动化切换ua， import pyautogui import pyperclip import random useragents=['Mozilla/5.0 (Windows NT 6.1; Win64; x64
【pywinauto】PC端应用自动化测试（二）元素定位
qq_42325944的博客
06-26 6871
【pywinauto】PC端应用自动化测试（二）元素定位
详细分析PyAutoGUI中的locate函数（附Demo）
码农研究僧的博客
03-22 2703
pyautogui.locate()函数用于在屏幕上定位指定图像或颜色的区域。 相应的基本知识推荐阅读：详细分析Python中的Pyautogui库（附Demo）
PyAutoGUI图像定位进阶技巧：精确点击与图像识别的秘诀
通过使用PyAutoGUI库，我们可以实现对屏幕元素的自动化操作，这在测试、运维甚至日常工作中都具有广泛的应用场景。 ## 1.1 图像定位的概念 图像定位是识别和操作计算机屏幕上特定图像的过程。利用PyAutoGUI库，我们...
掌握PyAutoGUI图像定位：提升自动化测试效率的必学技巧
然而，在这些功能之上，PyAutoGUI的图像定位功能尤其引人注目，因为它能够通过识别屏幕上的图像来执行自动化任务。 图像定位技术可以让自动化脚本在复杂的用户界面环境中找到特定的元素，无论这些元素是否具有可...
PyAutoGUI图像定位技巧大放送：应对复杂界面的策略
PyAutoGUI图像定位概述 在现代自动化测试和开发工作中，图形用户界面（GUI）操作自动化已经成为提高效率的关键手段。PyAutoGUI是一个强大的Python模块，它能够模拟鼠标和键盘操作，广泛应用于图像定位技术中。图像...
PyAutoGUI图像定位实战攻略：自动化流程中的图像匹配技术
在进行自动化测试、用户界面自动化或者任何需要模拟鼠标和键盘输入的场景时，图像定位是一个强大的技术，它允许我们通过识别屏幕上的图像来决定下一步的操作。PyAutoGUI是一个Python模块，专为简化GUI操作而设计，...
【PyAutoGUI图像定位终极指南】：掌握自动化测试的视觉识别技术
![PyAutoGUI]...图像定位是PyAutoGUI在自动化任务中非常重要的一个特
使用pyautogui和inspect快速准确定位鼠标位置
Less_hair的博客
03-06 3551
@[TOC] 1.前言 1.前言 最近在研究客户端软件进行Python自动化测试时，知道了pyautogui这个库，然后在csdn搜索相关资料时，看到某位老师写的文章，文章在此：女朋友让我深夜十二点催她睡觉，我有Python我就不干 看完文章和不少小伙伴都跃跃欲试，结果发现定位鼠标时出现了问题，大概就是鼠标本来定位在A点，但是运行Python程序时，鼠标位置变化了，获取到的坐标正确，可能有的小伙伴要说了，那我用快捷键启动程序，如果鼠标单击在其他地方，比如微信输入框，这时候快捷键也是不生效的，有没有更好的办法
PyAutoGui图像操作（一）：图像定位方式及返回
热门推荐
weixin_43937682的博客
01-08 1万+
一，PyAutoGui介绍 PyAutoGUI是Python功能强大的UI自动化库，其目的是可以用程序自动控制鼠标和键盘操作，主要用来实现PC端的UI自动化。 ①有鼠标控制、键盘操作、屏幕截图、图片定位、消息对话框、窗口操作等功能； ②有倒计时、鼠标坐标颜色抓取小程序、UI自动化迷你语言等实用工具； ③有故障安全、通用暂停等机制。 二，PyAutoGui安装 cmd安装命令： pip install PyAutoGUI ...
Python-PyAutoGUI 库详解
wanglaqqqq的博客
03-19 3290
PyAutoGUI 是 Python 生态中 ​。
pyautogui 配合 selenium 实现桌面坐标系定位元素坐标，模拟真实鼠标行为
qq_42709514的博客
08-08 2097
场景：当我需要点击某个元素，或者出发浏览器的自动填充账号密码时，自动化点击无效。但是想要模拟真实鼠标点击又需要元素的坐标通过pyautogui来实现。通过selenium node.location获取的坐标是相当于浏览器实际内容窗口的坐标系，不能满足pyautogui 直接去自动化操作。这时可以通过浏览器js 获取菜单等实际边框大小计算出 实际的node.location零点位置相对于桌面坐标的坐标系，从而得出元素在桌面坐标系的位置。这样不管怎么操作一般都不会相差太多。注：未考虑滑动条存在的情况。
7-python库之-pyautogui鼠标键盘控制、图片位置查找
Creator_Ly的博客
05-24 4340
还是在自动化上面的应用，对于web的测试可以使用selenium来获取元素，进行按键控制或者文字输入，模拟用户操作实现自动化。可是对于非web的win桌面应用，我们就没办法了，这时候就需要向按键精灵那样，去查找对应的位置进行点击了。 pip install pyautogui 1.鼠标控制 移动到对应的坐标，然后点击 import pyautogui # 2秒钟鼠标移动到坐标为100,100的位置 pyautogui.moveTo(x=100, y=100, duration=2) # 鼠标左击一次.
GUI自动化selenium——元素定位
Wake__Up_的博客
09-07 364
元素定位有以下几种方式 id的方式 driver.find_element_by_id() name的方式 driver.find_element_by_name() xpath的方式 driver.find_element_by_xpath() class的方式 driver.find_element_by_class_name() css的方式 driver.find_element_by_css_selector() text的方式 driver.find_element_by_link_text()
Python--实时获取鼠标坐标点
JonSnow
11-09 3345
模块：pyautogui 利用pyautogui获取坐标点的方法，实时生成坐标点信息 import pyautogui def get_cord_real_time(): """get mouse coordinate in real time""" print('mouse coordinate now: ') try: while 1: x, y = pyautogui.position() prin...
windows 桌面GUI自动化-4. pywinauto 操作窗口控件child_window()
qq_27371025的博客
08-22 2619
前言 桌面应用的操作都是基于控件操作，先找到对应的窗口，基于操控查找框架即可操作了。 查看窗口控件 先学会如何查看窗口框架，可以用inspect.exe 查看窗口的层级结构 以打开的记事本为例 也可以通过print_ctrl_ids()方法 (另外一个print_control_identifiers() 功能一样)查看当前窗口下的控件 from pywinauto import Applica...
pyautogui学习
03-08
### PyAutoGUI 学习教程和资源 #### 安装 PyAutoGUI 为了开始使用 PyAutoGUI，首先需要确保已安装该库。可以通过 `pip` 进行安装： ```bash pip install pyautogui ``` 这一步骤简单快捷，能够为后续的操作打下良好基础[^4]。 #### 基础导入与初始化 成功安装后，在 Python 脚本中引入 PyAutoGUI 库即可开始编写自动化脚本： ```python import pyautogui ``` 这段代码是启动任何 PyAutoGUI 项目的起点。 #### 键盘操作入门 PyAutoGUI 提供了丰富的键盘控制功能，允许模拟各种按键行为。例如输入字符串、执行特定键位组合等： ```python # 输入一段文字并带有延迟效果 pyautogui.typewrite('Hello world!', interval=0.25) # 执行一系列按键动作 pyautogui.typewrite(['enter', 'a', 'b', 'left', 'left', 'X', 'Y'], interval=0.25) # 获取所有可用的按键名称列表 print(pyautogui.KEYBOARD_KEYS) # 单独按下或释放指定键 pyautogui.keyDown('f4') pyautogui.keyUp('f4') # 发送单次击键事件 pyautogui.press('f4') # 组合热键发送 pyautogui.hotkey('altleft', 'f4') ``` 上述例子展示了如何通过编程方式实现常见的键盘交互操作[^5]。 #### 鼠标操作实践 除了键盘外，PyAutoGUI 同样支持鼠标指针的位置移动以及点击等功能。这些特性对于创建更复杂的应用程序非常有用。具体方法如下所示： ```python # 移动鼠标至屏幕坐标 (x,y)，duration 参数定义动画时间长度 pyautogui.moveTo(x, y, duration=1) # 相对当前位置向右下方各偏移 100像素 pyautogui.moveRel(100, 100, duration=1) # 模拟左键单击 pyautogui.click() # 右键双击 pyautogui.doubleClick(button='right') # 拖拽物品 pyautogui.dragTo(x, y, button='left') pyautogui.dragRel(dx, dy, button='left') ``` 以上命令可以帮助用户轻松处理图形界面中的对象[^2]。 #### 图像识别应用实例 高级应用场景之一就是利用图像匹配技术定位屏幕上目标位置进而实施精准操控。此过程涉及加载模板图片文件并与当前显示画面做对比分析找出最佳匹配区域： ```python location = pyautogui.locateOnScreen('image.png') if location is not None: center = pyautogui.center(location) pyautogui.click(center.x, center.y) else: print("Image not found on screen.") ``` 这种方法特别适用于那些难以直接通过坐标确定元素的情况。 #### 推荐学习路径 针对希望深入理解 PyAutoGUI 的初学者来说，建议按照以下顺序逐步推进： - **熟悉环境配置**：掌握基本的 Python 编程技能及虚拟环境中管理依赖项的方法； - **探索官方文档**：阅读 [PyAutoGUI 文档](https://pyautogui.readthedocs.io/) 中有关 API 使用说明的部分； - **动手实验案例**：基于实际需求设计小型项目练习所学知识点； - **参与社区交流**：加入 GitHub Issues 或 Stack Overflow 上的相关话题讨论区寻求帮助解答疑问； 遵循这条线路可以有效提升个人能力水平，更好地驾驭这一强大的桌面自动化利器[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值