记录一下自动化和爬虫现在的主流技术

在Python中,用于自动化和爬虫的最主流库包括:

自动化:
Selenium:广泛用于Web自动化测试,能够模拟用户在浏览器中的操作,支持多种浏览器1。
Playwright:由Microsoft开发,支持多浏览器,自动化操作高效,支持无头模式2。

爬虫:
Scrapy:一个功能强大的爬虫框架,支持异步和分布式爬取,适合大型、复杂的爬虫项目12。
BeautifulSoup:常用于解析HTML和XML文档,方便提取数据13。
Requests:用于发送HTTP请求,简单易用,是爬虫获取网页内容的基础库14。

from splinter.browser import Browser 用于导入 Splinter 库中的 Browser 类,它提供了一个高级 API 来控制和自动化 Web 浏览器,常用于自动化测试和网页爬虫。通过 Browser 类,可以启动一个浏览器实例,模拟用户在浏览器中的操作,如访问网页、填写表单、点击按钮等。

在这里插入图片描述

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值