Day93 selenium爬虫

于 2024-06-17 19:55:20 发布
阅读量119 收藏
点赞数
分类专栏： 100天软件测试升级打怪路 文章标签： selenium 爬虫 测试工具
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/gregcsdn/article/details/139753054
版权

Day93 selenium爬虫

文章目录


主要学习selenium自动化测试框架在爬虫中的应用，selenium能够大幅降低爬虫的编写难度，但是也同样会大幅降低爬虫的爬取速度。在逼不得已的情况下我们可以使用selenium进行爬虫的编写。

selenium的介绍

知识点：
  • 了解 selenium的工作原理
  • 了解 selenium以及chromedriver的安装
  • 掌握 标签对象click点击以及send_keys输入

1. selenium运行效果展示

Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium 可以直接调用浏览器，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器），可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏等。我们可以使用selenium很容易完成之前编写的爬虫，接下来我们就来看一下selenium的运行效果

1.1 chrome浏览器的运行效果
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Selenium在爬虫中的应用
m0_73673163的博客
03-10 1744
Selenium 是一个用于 Web 应用程序测试的工具，它可以模拟用户与浏览器的交互，支持多种语言和浏览器。
爬虫day4 selenium高级用法
m0_66021454的博客
03-17 1324
爬虫day4 selenium高级用法 一、selenium常见设置 from selenium.webdriver import Chrome, ChromeOptions 1.创建配置对象 options = ChromeOptions() 2.添加配置 1）取消测试环境 options.add_experimental_option('excludeSwitches', ['enable-automation']) 2）取消图片加载 options.add_experimental_option
python网络爬虫系列（七）——selenium的介绍 & selenium定位获取标签对象并提取数据 & selenium的其它使用方法
zep
07-08 3171
一、selenium的介绍 知识点： 了解 selenium的工作原理 了解 selenium以及chromedriver的安装 掌握 标签对象click点击以及send_keys输入 1. selenium运行效果展示 Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium 可以直接调用浏览器，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器），可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏等。我们可以使用selenium很
如何在实际工作中，极致发挥 Selenium 的作用？
k8s 生态
04-07 303
不少人喜欢用 Selenium 模拟浏览器写爬虫，认为这样不会被网站检测到，想爬什么就爬什么。如果你也有类似的想法，说明对 Selenium 的了解还是不够深入。这几年，Selenium...
python--应用场景--selenium
chidouhu7991的博客
10-21 381
一、搭建环境 1.按装selenium库：pip installselenium 2.根据当前chrome浏览器的版本下载支持的chromeDriver，下载链接 二、应用举例 Demo链接 #!/usr/bin/env python #-*- coding:utf-8 -*- ...
Selenium使用中的场景问题与应对
木小鱼的笔记
07-24 1124
问题与应对 在Selenium的使用中，有大量的各类问题，这里将这些问题汇总一下，并给出相应的应对策略。 问题列表 问题1： selenium.common.exceptions.StaleElementReferenceException: Message: stale element reference: element is not attached to the page...
本人博客python selenium爬虫入门案例day02源码文件
08-10
供学习本人博客python selenium爬虫入门案例day02使用
本人博客python selenium爬虫入门案例day01源代码文件
08-10
供观看我博客的小伙伴们使用
python爬虫：selenium模块
Ohh24的博客
11-06 506
python爬虫：selenium模块
Web界面自动化操作工具 - Selenium常见用法
最新发布
10-23 1101
Selenium是一个用于自动化浏览器操作的工具，常用于Web应用程序的测试和爬虫开发。
selenium原理及使用场景（登录场景）
MM602388的博客
11-04 964
1.为什么需要做UI自动化 UI是最接近用户的，直面用户体验 2.什么时候需要进行UI自动化 涉及用户体验相关的主要业务逻辑 业务模块版本趋于稳定 3.原理 使用Selenium实现自动化测试，主要需要3个东西 1.自动化测试代码：自动化测试代码发送请求给浏览器的驱动； 其二便是浏览器的驱动：每个浏览器都有自己的驱动，比如谷歌的chromedriver.exe、火狐的geckodriver.exe、IE的IEDriverServer.exe，它来解析这些自动化测试的代码，解析后把它们发送给浏览
爬虫之selenium替换user-agent
IT之一小佬的博客
01-21 6174
爬虫之selenium替换user-agent selenium控制谷歌浏览器时，User-Agent默认是谷歌浏览器的，这一小节我们就来学习使用不同的User-Agent 替换user-agent的方法 实例化配置对象 options = webdriver.ChromeOptions() 配置对象添加替换UA的命令 options.add_argument('--user-agent=Mozilla/5.0 HAHA') 实例化带有配置对象的driver对象
selenium路径
Blog
02-26 424
多层div下，如何根据路径定位元素咧？如下图 有多种方式可以定位，但是不建议使用绝对路径 # menu_jc = driver.find_element_by_xpath("//div[@id='app']//ul/li[2]") #这是可以的0 # menu_jc = driver.find_element_by_xpath("//html/body/div/div/section/header/div/div[2]/div/div/ul/li[2]") #这是可以的1，不建议使用 menu_.
selenium 杂谈
lhr_zz的博客
06-13 466
一、selenium 抓取不到元素 一开始我以为是iframe的问题 但是页面上并没有 后来我发现了一个shadowDOM模块 涨这个样子，网上搜了搜大概的内容就是这个标签下面是封装好了的 ，跟原始文档有所区分，独立存在。导致了你找不到这个元素，·driver.page_source·都不行，抓取不到，网上找到了2种解决方案，我试了第一种，第二种没用代码尝试过不过手动是可以的，感兴趣的可以试一试 第一种：使用js抓取 1、先定位到shadow-root的宿主节点(此处为id=usercentrics-
Selenium学习笔记
Fly_Big_biu的博客
10-15 552
selenium 原理、web自动化方法 一、什么是webUI自动化 通过自动化工具--selenium，按照测试人员的设想--代码逻辑，自动执行测试，简单来说，就是用代码模仿手工操作 webUI自动化的价值： 1、验证逻辑 2、代替大量的重复手工测试 3、ui自动化目标不是发现多少个bug，而是为手工回归测试节省了多少时间 selenium 与 webdriver selenium 是一个用于web测试的工具，运...
自动化-Selenium WebDriver相关技术点总结
Try My Best！
09-05 1177
前端工具：FireBug&FirePathsetuptools是Python Enterprise Application Kit （PEAK）的一个副项目，它是Python的distutilsde工具的增强工具，可以让程序员更方便的创建和发布Python包，特别是那些对其他包有依赖性的状况。easy_install命令是由PEAK开发的setuptools包里带的一个简易安装命令，因此使用easy
(二) selenium元素定位(上)
sinat_23377479的博客
08-01 1168
selenium常用元素定位方法，新手学selenium必知必会
selenium用法详解
Sweeneys的博客
03-18 1094
为什么使用selenium 因为有些网页是动态渲染的，如果使用传统的请求库进行爬虫，可能得不到所需要的内容，所以使用selenium库。 安装 1、selenium selenium的安装方式详见参考资料[2]。 pip install selenium 2、浏览器 可以安装谷歌，火狐，edge等浏览器。 3、浏览器对应的驱动 浏览器驱动可以到淘宝镜像站(详见参考资料[4])下载。 下载的时候注...
爬虫篇——selenium（webdriver）进行用户登录并爬取数据)
Cyrus_May的博客
01-25 3600
爬虫篇——selenium（webdriver）进行用户登录并爬取数据摘要（一）创建browser对象（二）用户登录（三）数据爬取 摘要 本文主要介绍了如何通过selenium使用Chormedriver进行用户登录并爬取数据，使用过程中需注意合理使用selenium.webdriver.support.expected_conditions 和selenium.webdriver.support.ui.WebDriverWait （一）创建browser对象 chromedriver.exe的下载地址为：
selenium爬虫实例
03-25
这里是一些简单的Selenium爬虫实例： 1.爬取天气数据 ```python from selenium import webdriver driver = webdriver.Chrome() driver.get('https://www.accuweather.com/') search_box = driver.find_element_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

老板来片烤面包

君子博学于文，赠之以礼,谢君~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值