推荐一款 10 行 Python 代码实现网页自动化工具

【Vmware的vmdk文件转img文件】 软件准备:vmware,qemu-img.exe。 qemu-img.exeWindows 64位下载路径,32位下载路径将需要转换成img文件的环境在Vmware里面配置好。 随后进入该虚拟机的目录下。 找到.vdmk文件,并复制路径 进入qemu目录,在地址栏输入cmd进入该目录下的命令提示符。 输入cmd之后直接回车即可进入命令行,接下来就可以使用qemu-img.exe这个工具来将vmdk文件转换成img文件了。转换需要时间。 我们到目标文件路径看看是否转换成功了 目标路径有Windows 阅读详情

各种各样的网站在我们日常工作和学习中占据着举足轻重的地位,学习、影音娱乐、查询资料、协同办公,越来越多的任务都被迁移到浏览器

因此,网页也蕴含着很多有价值、我们能够用得到的资源

例如,数据、歌曲、影视、文本、图片;所以,这几年来爬虫这项技术也成了很多开发人员必备的技能之一

以 Python 爬虫为例,比较常用的爬虫手段是结合 Requests、正则表达式等有一定门槛的工具来完成,并且还需要对 HTML、Web 具有一定的基础

这把很多开发同学拒之门外,也让很多初学者花费很多功夫和时间来学习爬虫这些技能

其实,除了上述提到那些具有一定门槛的爬虫知识之外,有一些另辟蹊径的同学会选择 Selenium 这款 Web 应用测试工具来完成爬虫任务,它能够像真正的用户一样完成一系列的操作

Selenium已经很好用,但是,它的大多数交互还是和 Web 元素之间进行的,需要使用到 HTML id、Xpath、CSS 选择器,虽然自动化程度高了一些,但是还不算足够的容易使用。

而本文的主角Helium则是在 Selenium 的基础上封装的更加高级的 Web 自动化工具,它能够通过网页端可见的标签、名称来和 Web 进行交互,例如,

  • 点击键盘按键

  • 右键点击

  • 悬浮

  • 滚动鼠标

  • 拖动文件

  • 刷新

  • ......

通过Helium,即便不在了解 Html、CSS 这些知识,你依然可以轻松的完成 Web 自动化程序的开发,轻松掌握爬虫技能,同时能够辅助日常重复性劳动,彻底解放你的双手

Helium

为了方便大家理解和使用,Helium 作者把一些常用方法总结了一个清单

另外,在 Python 文件列出了公共函数,使用者可以通过阅读这个 Python 文件的代码来了解有哪些函数接口可以调用

在前面 GIF 动图中给出了 Helium 与 Github 的交互过程,其中涉及了我们常用的操作,例如,

  • 输入账号密码

  • 点击按钮

  • 跳转网页

在这里,我就不再重复这个过程,下面以 爬取网页图片链接 的例子来讲解一下 Helium 的用法,同时把 Helium 的常用操作串联起来。各位可以根据自己的需求,举一反三,来发挥 Helium 的价值。

首先,来了解一下我们个人在下载图片的过程中的具体流程。

  1. 打开百度搜索;

  2. 搜索相关图片;

  3. 跳转到图片页面;

  4. 打开图片;

  5. 点击下载按钮;

下面,就通过 Helium 来逐步完成上述 5 步

打开百度搜索

Helium 可以直接打开对应的网址,目前支持 Chrome 和火狐浏览器,只要用到start_chrome或者start_firefox函数,下面以 Chrome 浏览器为例,

from helium import *
start_chrome("www.baidu.com")

搜索图片&跳转到图片页面

搜索图片过程中,首先需要在搜索框输出想要的目标图片,然后点击百度一下或者按下ENTER键

write("詹姆斯")

click("百度一下")
// 或者
press(ENTER)

click("图片")

打开图片

在前面 Helium 与 Github 交互的示例中,我们发现,Sign in、Username 等都有标签名称。

但是,我们在这里跳转到图片页面时,发现每幅图片并没有 标签,那么我们该怎么确定点击哪一幅图呢?

好在 Helium 兼容了 Selenium 的接口,我们可以通过 Selenium 来获取页面的元素,然后结合 Helium 的点击就可以实现打开图片这一步骤

// pn1是其中一幅图的名称,通过名称来获取对应的元素,然后调用Helium的click函数点击图片
img = driver.find_element_by_name("pn1") 
click(img)

点击下载按钮

最后一步就是点击下载按钮,这一步和上一步类似,我们先通过 Selenium 的接口来获取 Web 元素,然后点击即可

download = driver.find_element_by_class_name("btn-download")
click(download)

到这里,就完成了整个自动化爬取图片的过程,完成代码如下,

from helium import *
start_chrome("www.baidu.com")
write("詹姆斯")
press(ENTER)
click("图片")
img = driver.find_element_by_name("pn1") 
click(img)
download = driver.find_element_by_class_name("btn-download")
click(download)

可以看出,整条爬取图片的代码仅仅需要 10 行代码,和人为手动操作步骤一样,非常简单。

除了下载图片这项简单的任务,我们也可以利用它开发一款自动化的工具,例如文件的上传、编辑、下载影视音乐、B站视频等,可以举一反三。

如何查询指定元素名称?

在前面事例中,涉及到pn1、btn-download这 2 个 HTML 层面的内容,分别是元素名称和元素类别名称,那么,这是怎么获取的呢?

其实,非常简单,我们只需要鼠标右键点击对应按钮,然后选择 检查 即可

好了,以上就是利用 Helium 实现网页自动化的常规操作,大家也来试试吧。

近期十大热门:

每个程序员都是从菜鸟开始成长起来的,没有人一开始就是程序员高手。菜鸟爱编程,专注于分享趣味的编程技巧,不限于Java, Python ,Go, Javascript等语言,让菜鸟爱上编程,进阶成为高手。

菜鸟编程大本营

长按2秒,输入:【书单】
点这里,进菜鸟学PythonB站大本营
Phython新手做网页操作自动化 做一个工具,需要将excel内的内容分别对应填充到网页内的表单文本框和下拉框中 阅读详情

相关推荐

StarWind V2V Image Converter:虚拟机镜像转换工具,可将 IMG 文件转换为 VMware VMDK 文件

操作流程 选择本地的需要转换的文件 找到源文件的路径,img格式 选择转化后的格式 第一个 选择 第二个 速度快一些 选择将转化后的文件的存储路径 软件的下载链接 链接:https://pan.baidu.com/s/1Fe6yI42Zz9d_Q7aUhGe1FQ提取码: 5vmv ...

CHYabc123456hh的博客 1万+

如何将img转换成vmdk

使用StarWind V2V Converter这款软件可以方便的将img格式转换成vmdk格式。9.选择“VMware Workstation growable image”并点击下一步。⚠️注意:在中文路径下转换可能会出错,建议选择英文路径。1.打开StarWind V2V Converter软件。8.选择vmdk并点击下一步。10.选择文件路径并点击转换。4.选择需要转换的文件。2.选择本地文件选项。11.完成转换点击结束。

m0_58949222的博客 1万+

img-vmdk格式转换工具.rar

img-vmdk格式转换

StarWind V2V Converter - 免费好用的 img 转换 vmdk 格式软件

StarWind V2V Converter是一款免费好用的虚拟磁盘双向转换工具,通过StarWind V2V Converter用户能够轻松的对虚拟磁盘进行迁移转换,并且不会对原虚拟磁盘造成任何影响,有需要的可以下载使用。安装完毕 Sta rW i nd V2V Converter 软件之后 , 我们打开软件 , 获取需要转换的 IMG 文件格式。选择输出的区域 , 我们还是输出保存到本地 , 因为本地虚拟机要用到。选择输出的格式 , 支持VMDK 、 VHD 、 QCOW2格式等。

namekong8的博客 4万+

处理图数据, 安装“Pytorch“ + 图神经网络开源框架“PyG “+ “ogb“使用

"OGB" OSError: [WinError 127] 找不到指定的程序。1.[遇到这类问题往往跟torch安装的工具包(如torch-sparse,torch-scatter,torch-cluster)版本没对应上有关](https://blog.youkuaiyun.com/weixin_42358688/article/details/117433691)2.[OGB使用环境安装与依赖](https://ogb.stanford.edu/docs/home/)Data Loaders3.[torch-geo

Fuguir™的博客 3698

prokka-原核及病毒基因组高效便捷注释

文章目录简介安装使用参考 简介 Prokka: rapid prokaryotic genome annotation 全基因组注释是在一组基因组DNA序列中识别感兴趣的特征,并用有用的信息标记它们的过程。Prokka是一款软件工具,可以快速注释细菌、古生菌和病毒基因组,并生成符合标准的输出文件。 安装 conda install -c conda-forge -c bioconda -c defaults prokka Test Type prokka and it should output its

Neptuneyut的博客 3312

推荐一款 10 行 Python 代码实现网页自动化工具!解放双手!

各种各样的网站在我们日常工作和学习中占据着举足轻重的地位,学习、影音娱乐、查询资料、协同办公,越来越多的任务都被迁移到浏览器 因此,网页也蕴含着很多有价值、我们能够用得到的资源 例如,数据、歌曲、影视、文本、图片;所以,这几年来爬虫这项技术也成了很多开发人员必备的技能之一 以 Python 爬虫为例,比较常用的爬虫手段是结合 Requests、正则表达式等有一定门槛的工具来完成,并且还需要对 HTML、Web 具有一定的基础 这把很多开发同学拒之门外,也让很多初学者花费很多功夫和时间来学习爬虫这些技

爬遍所有网站 2590

亚马逊广告接口 amazon advertising

亚马逊广告接口官方说明:https://advertising.amazon.com/API/docs/en-us/setting-up/account-setup 一:注册aws开发者账号 注册地址:https://developer.amazon.com 二:填写注册资料 三:进入控制台,生成安全配置文件 进入 Login with Amazon 菜单: 创建配置文件: 四:申请广告接入权限 申请地址:https://advertising.amazon.com/zh-cn/about-api

lzy66666的博客 4776

python制作网页用什么软件_推荐一款 10 行 Python 代码实现网页自动化工具

各种各样的网站在我们日常工作和学习中占据着举足轻重的地位,学习、影音娱乐、查询资料、协同办公,越来越多的任务都被迁移到浏览器因此,网页也蕴含着很多有价值、我们能够用得到的资源例如,数据、歌曲、影视、文本、图片;所以,这几年来爬虫这项技术也成了很多开发人员必备的技能之一以 Python 爬虫为例,比较常用的爬虫手段是结合 Requests、正则表达式等有一定门槛的工具来完成,并且还需要对 HTML...

weixin_39562234的博客 440

深入理解光流法外推雷达回波

背景介绍 鉴于本人实在太过疲惫和劳累,一些简单的便于理解的废话就不在记录,耗费两天时间研究了一下光流法,本帖用于记录学习过程中源码的难点细节。 使用光流预测的核心有两个利用多张连续回波图像(变分)或者相邻两张回波图(交叉相关,LK等)计算出光流场(速度矢量场),之后利用半拉格朗日方法进行外推。 半拉格朗日方法 三时间步半拉格朗日方法,其核心公式如下 但这个有点难理解,但看一维的图就很好理解 它的核心就是迭代求Am(位移矢量),如果理解困难的话,其实质上就是通过未来迭代(猜)出当前时刻的Am找到过去的假设

weixin_44695861的博客 6035

Jetson Nano官方镜像下载&烧录

在NVIDIA Jetson Nano开发者套件上安装NVIDIA官方Ubuntu镜像

weixin_44222088的博客 8851

python 网页自动处理_推荐一款 10 行 Python 代码实现网页自动化工具

各种各样的网站在我们日常工作和学习中占据着举足轻重的地位,学习、影音娱乐、查询资料、协同办公,越来越多的任务都被迁移到浏览器因此,网页也蕴含着很多有价值、我们能够用得到的资源例如,数据、歌曲、影视、文本、图片;所以,这几年来爬虫这项技术也成了很多开发人员必备的技能之一以 Python 爬虫为例,比较常用的爬虫手段是结合 Requests、正则表达式等有一定门槛的工具来完成,并且还需要对 HTML、...

weixin_33771582的博客 726

【11】GD32H7xx MPU记录

GD32H7xx系列MPU内存保护单元模块的使用记录

madao1234的博客 877

img转vmdk工具_推荐一款 10 行 Python 代码实现网页自动化工具

各种各样的网站在我们日常工作和学习中占据着举足轻重的地位,学习、影音娱乐、查询资料、协同办公,越来越多的任务都被迁移到浏览器因此,网页也蕴含着很多有价值、我们能够用得到的资源例如,数据、歌曲、影视、文本、图片;所以,这几年来爬虫这项技术也成了很多开发人员必备的技能之一以 Python 爬虫为例,比较常用的爬虫手段是结合 Requests、正则表达式等有一定门槛的工具来完成,并且还需要对 ...

weixin_39889487的博客 259

解决Jupyter Notebook中Plotly图表显示问题

摘要:在Jupyter Notebook中使用Plotly绘图时遇到图表无法显示的问题。通过分析发现Python 3.12版本与Jupyter存在兼容性问题。解决方案是将Python降级到3.11版本,重新创建虚拟环境后图表正常显示。这表明版本兼容性对数据可视化工具至关重要,环境配置检查是解决问题的关键步骤。该案例为遇到类似问题的开发者提供了参考方案。

m0_74337424的博客 125

【硬刚Hive】HIVE基础(20):Hive函数(9) over 窗口函数

欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客 欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载! 本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。 hive窗口函数语法 在前言中我们已经说了avg()、sum()、max()、min()是分析函数,而over()才是窗..

微信搜:import_bigdata,大数据领域硬核原创作者 888

网页控制台调用click()失败_推荐一款 10 行 Python 代码实现网页自动化工具

各种各样的网站在我们日常工作和学习中占据着举足轻重的地位,学习、影音娱乐、查询资料、协同办公,越来越多的任务都被迁移到浏览器因此,网页也蕴含着很多有价值、我们能够用得到的资源例如,数据、歌曲、影视、文本、图片;所以,这几年来爬虫这项技术也成了很多开发人员必备的技能之一以 Python 爬虫为例,比较常用的爬虫手段是结合 Requests、正则表达式等有一定门槛的工具来完成,并且还需要对 ...

weixin_34518190的博客 679

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

推荐一款Python开源的AI自动化工具:Browser Use!

今天要为大家介绍一款令人瞩目的 Python 开源 AI 自动化工具 ——Browser Use。这款工具将 AI 能力融入到浏览器自动化操作中,极大地拓展了自动化应用的边界。

伤心的辣条 1081

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

推荐一款Python开源的AI自动化工具:Browser Use

在当今数字化时代,自动化技术的发展日新月异,Python 凭借其简洁的语法和丰富的库资源,成为众多开发者实现自动化任务的首选语言。今天要为大家介绍一款令人瞩目的 Python 开源 AI 自动化工具 ——Browser Use。这款工具将 AI 能力融入到浏览器自动化操作中,极大地拓展了自动化应用的边界。1、Browser Use简介Browser Use 是一个基于 Python 开发的开源库,...

测试开发技术 3580

推荐这3个自动化爬虫工具,非常强大!

网络爬虫是一种常见的数据采集技术,你可以从网页、 APP上抓取任何想要的公开数据,当然需要在合法前提下。与屏幕抓取不同,屏幕抓取只复制屏幕上显示的像素,网络爬虫提取的是底层的HTML代码,以及存储在数据库中的数据。一般使用抓包工具获取HTML,然后使用网页解析工具提取数据。你可以使用Python编写爬虫代码实现数据采集,也可以使用自动化爬虫工具,这些工具对爬虫代码进行了封装,你只需要配置下参数,就可以自动进行爬虫。这里推荐3款不错的自动化爬虫工具,八爪鱼、亮数据、Web Scraper。

分享Python、数据分析、人工智能前沿知识 2192

推荐一款新的自动化测试框架:DrissionPage

今天给大家推荐一款基于Python的网页这款工具既能控制浏览器,也能收发数据包,甚至能把两者合而为一,简单来说:集合了WEB浏览器自动化的便利性和 requests 的高效率优点。

OKCRW的博客 1307
上一篇: 可视化工具不知道怎么选?深度评测5大Python数据可视化工具
下一篇: 卧槽!微信居然有“隐身功能”了!
菜鸟学Python
博客等级 码龄9年 8063粉丝 571原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值