[Python] 用 Docker + Python + Selenium 抓取

利用Docker搭建基于Python的Selenium自动化测试环境 在现代软件开发过程中,自动化测试已成为确保软件质量的关键环节。Python与Selenium是常用的自动化测试组合,而利用Docker搭建自动化测试环境,可以提供一致的测试环境、方便的依赖管理和高效的资源使用。本文将详细介绍如何使用Docker搭建基于Python和Selenium的自动化测试环境,并通过具体的实战演练展示其应用。 阅读详情

介绍

在上一篇文章中,我用Docker容器创建了一个Python环境,并尝试操作Selenium。
这次以网页的形式输入数值,查看结果的显示。
请注意,它可能很难看到,因为我写它是为了保留使用 Selenium 操作网页的基本部分的备忘录。

进行

这一次,我将尝试以下项目。
1. 使用 Selenium 启动 Chrome。
2. 显示网页。
3. 单击页面中的按钮元素可移动到该页面。
4. 等待过渡后页面上显示所需元素。
5.从页面的p元素中获取文本。
6. 单击页面中的按钮元素,显示对话框。
7. 在对话框的输入元素中输入一个值。
8. 从对话框的下拉菜单中选择一个值。
9. 单击对话框中的按钮元素提交数据。
10. 等待显示传输完成警报。
11. 单击警报中的确定按钮。
12.重新加载页面以更新页面中的信息。
13. 等待所需元素出现在重新加载的页面上。
14.从页面的p元素中获取文本。

如何使用Docker搭建Python的Selenium环境请参考上一篇(【Python】在Docker容器中尝试使用selenium)。

尝试使用硒

实现代码

这是这次实现的代码。

docker_selenium.py
import time from selenium import webdriver from selenium.webdriver.common.alert import Alert from selenium.webdriver.common.by import By from selenium.webdriver.support.select import Select from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC # webのフォームに入力する内容を変数に格納 MILAGE = 38.38 ELEVATION = 218 WEATHER = ['晴れ', '曇り', '雨'] # webdriverのオプションを設定 options = webdriver.ChromeOptions() options.add_argument('--headless') print('Connect remote browser...') driver = webdriver.Remote(command_executor='172.21.0.3:4444/wd/hub', options=options) print('remote browser connected...') try: # ブラウザでWebページを開く  driver.get('https://xxxxxxxx.herokuapp.com/') print('current URL: ', driver.current_url) # ボタンをクリックしページ遷移する処理  bicycle_button = driver.find_element(By.XPATH, '//input[@id="button_bicycle"]') bicycle_button.click() print('current URL: ', driver.current_url) # ページの読み込みのための最大待ち時間  print('Max 5 secound wait...') wait = WebDriverWait(driver, 5) wait.until(EC.visibility_of_element_located((By.XPATH, '//p[@id="sum_milage"]'))) # 新規データ入力前の今月の走行距離のテキストを取得する  bicycle_page_message_2 = driver.find_element(By.XPATH, '//p[@id="sum_milage"]').get_attribute('textContent') print('bicycle_page_message_2 before: ',
python+selenium+docker+飞书机器人部署自动预约程序 python+selenium+docker+飞书机器人部署自动预约程序项目介绍python+selenium滑块验证selenium提示元素无法操作无法定位到元素接口+服务器部署本地测试开放端口内网穿透服务器部署与飞书机器人连结飞书机器人部署飞书开放平台事件订阅请求网址URL配置使用飞书机器人发消息给用户(open_id版)飞书机器人收到消息后会多次重复请求docker部署安装打包为Image下载chrome+chromedriver写在最后 项目介绍 笔者最近需要重复使用一个预约程序,就想实现自动化预约 阅读详情

相关推荐

最新[Python] 用 Docker + Python + Selenium 抓取,面试复盘总结分析怎么写

Python崛起并且风靡,因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低,但它的晋级路线很多,通过它你能进入机器学习、数据挖掘、大数据,CS等更加高级的领域。Python可以做网络应用,可以做科学计算,数据分析,可以做网络爬虫,可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多,你需要学好基础,再选择明确的方向。这里给大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!

2401_84141332的博客 446

【爬虫】Python+Selenium+Firefox无头模式实战:高效部署与动态页面抓取

本文详细介绍了使用Python、Selenium和Firefox无头模式构建高效动态网页爬虫的完整流程。从环境搭建、GeckoDriver配置避坑,到实战抓取今日头条新闻数据,重点讲解了无头模式的部署优势与配置方法,并提供了浏览器优化、反爬策略及Docker服务器部署等进阶技巧,助力开发者实现稳定高效的数据抓取。

weixin_28835583的博客 269

Python爬虫实战:抓取知乎热门话题数据

在当今信息爆炸的时代,数据已成为最宝贵的资源之一。作为国内知名的知识分享平台,知乎汇聚了大量高质量的用户生成内容,其中热门话题数据对于市场分析、舆情监测和趋势预测具有重要价值。本文将详细介绍如何使用Python爬虫技术抓取知乎热门话题的问题标题、回答数和关注者数据,并分享最新的反反爬虫技术和数据处理方法。本文详细介绍了使用Python爬虫技术抓取知乎热门话题数据的完整流程,从基础的API请求到高级的浏览器自动化,从单机爬虫到分布式架构,涵盖了现代网络爬虫开发的各个方面。多种爬取技术。

2201_76125261的博客 389

libiec61850实战:手把手教你用C语言动态获取IED设备模型(附完整代码解析)

本文详细介绍了如何使用libiec61850库通过C语言动态获取IED设备模型,包括环境配置、连接建立、模型遍历及错误处理等关键步骤。通过完整的代码示例和实战案例,帮助开发者掌握智能变电站通信中的核心技术,提升工业自动化系统的开发效率。

weixin_42519985的博客 435

腾讯Octop:Windows本地AI助手一键安装实战指南

本地AI助手是面向普通用户在个人设备上运行大语言模型的轻量级解决方案,其核心原理在于封装模型加载、推理调度与Web交互等底层复杂性,通过预编译运行时、自适应硬件加速和图形化配置降低使用门槛。技术价值体现在免环境依赖、离线可用、开箱即用,显著提升非开发者在专利撰写、文案生成、技术文档处理等办公场景中的生产力。本文聚焦Windows平台下的腾讯Octop工具,结合qwen2-7b-instruct、phi-3-mini等主流GGUF量化模型,详解安装适配、API集成与专利辅助工作流,覆盖从零部署到工程落地的完整

weixin_29055137的博客 312

告别手册!S32K3XX的eMIOS实战:从GPT定时到PWM输出,一个通道搞定电机控制

本文深入探讨了NXP S32K3XX系列MCU的eMIOS模块在电机控制中的高效应用。通过单通道实现PWM生成、输入捕获和定时中断三大功能,展示了如何简化BLDC电机控制硬件设计。文章结合RTD库与寄存器级编程,提供动态模式切换和性能优化方案,显著降低CPU负载。

weixin_42522374的博客 147

无人机上下通信信号解析程序和代码

总的来说,无人机上下行信号解析是无人机系统中非常重要的一部分,它关系到无人机的飞行控制和图像传输能力,对于保障无人机的飞行安全和数据传输质量具有重要作用。3. 读取和解析地面控制中心发送的命令和数据:程序还需要能够读取地面控制中心发送给无人机的命令和数据。1. 读取和解析无人机发送的命令和数据:程序需要能够读取无人机发送的信号,并解析其中的命令和数据。4. 将解析结果传递给无人机:解析地面控制中心发送的命令和数据后,程序需要将解析结果传递给无人机。具体的实现方式可以根据无人机的通信协议和硬件设备来确定。

2401_84824274的博客 2191

Python控制TEMI1000/TEMI1500测试温箱

该温箱是我司从昆山振弘检测设备有限公司采购的TEMI 1000,但是控制器用的是韩国的,关于控温箱这个项目,可参考的资料仅有一份官方的manual,里面包含一些命令格式。只要你有温箱,就应该可以向厂家索取该文档。该温箱的通讯接口只有一个RS232接口,要想实现远程控制,需要有串口转USB的线;类似于下图所以,想依靠python来与之进行通信,还是要通过python 的pyserial库,关于怎么安装pyserial,过于简单,这里不做赘述,可自行百度。

xgh1951的博客 1万+

【深度学习时间序列预测案例】零基础入门经典深度学习时间序列预测项目实战(附代码+数据集+原理介绍)

本专栏整理了《深度学习时间序列预测案例》,内包含了各种不同的基于深度学习模型的时间序列预测方法,例如LSTM、GRU、CNN(一维卷积、二维卷积)、LSTM-CNN、BiLSTM、Self-Attention、LSTM-Attention、Transformer等经典模型,包含项目原理以及源码,每一个项目实例都附带有完整的代码+数据集。

优快云 精品推荐 4万+

YOLOv8首创原创改进:即插即用|创新的轻量化非对称多级压缩LADH检测头

总结而言,本文介绍了一种名为轻量化非对称多级压缩LADH检测头的原创改进,该改进可与YOLOv8无缝适配,并显著提升了检测器的性能。在本文中,我们介绍了一种原创改进的检测头,名为轻量化非对称多级压缩LADH检测头,它可与YOLOv8无缝适配,显著提升了检测器的性能。此外,我们引入了多级压缩的概念,通过在不同的检测层级上应用不同程度的压缩,进一步提升了检测头的轻量化特性。具体而言,我们采用了逐级减少卷积核数量和通道数量的策略,以降低模型的参数量和计算复杂度,同时保持较高的检测精度。

IbcVue的博客 2186

微信小程序 - 完美解决“code“:“NO_AUTH“,“message“:“商户号该产品权限未开通,请前往商户平台>产品中心检查后重试“(微信小程序报错问题排查解决)

微信小程序NO_AUTH: 商户号该产品权限未开通,请前往商户平台>产品中心检查后重试?微信小程序提示商户号该产品权限未开通,请前往商户平台>产品中心检查后重试,微信小程序"code":"NO_AUTH"错误码怎么解决,报错信息如下:httpResponseBody[{"code":"NO_AUTH","message":"商户号该产品权限未开通,请前往商户平台>产品中心检查后重试"}],微信小程序支付问题,如何解决这个问题,虚拟支付商户号,虚拟支付商户号里面没有产品支付的页面,排查商户号没问题,商户号配置

🏆 前端领域优质创作者 4452

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

上一篇: Python 3.10 中的新增功能(摘要)
下一篇: Python3教程
程序员孔乙己
博客等级 码龄5年 1191粉丝 81原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值