selenium的一些要注意的地方

最新推荐文章于 2025-07-05 02:44:17 发布
原创 最新推荐文章于 2025-07-05 02:44:17 发布 · 1.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ubuntu #python #selenium

本文记录了使用selenium爬取北邮人论坛时遇到的问题及解决方案，包括'geckodriver'路径问题、TimeoutException错误以及解决办法。还提到了模拟键盘操作和PhantomJS的使用，并给出了python+scrapy+selenium结合爬虫的实践示例。

今天在尝试了一下如何爬取北邮人论坛，最后使用selenium来实现了。

下面记录一下使用selenium要注意的地方。

  • python selenium模块使用出错，错误代码为：Message: ‘geckodriver’ executable needs to be in PATH. 
ubuntu16.04环境下 解决方法：
下载 geckodriverckod   
地址： mozilla/geckodriver
解压后将geckodriverckod 存放至 /usr/local/bin/ 路径下即可
sudo mv ～/Downloads/geckodriver /usr/local/bin/

#具体答案可以查看下面的链接

链接：https://www.zhihu.com/question/49568096/answer/131093426

  • 出现错误:selenium.common.exceptions.TimeoutException: Message: Screenshot: available via screen

driver = webdriver.PhantomJS(service_args=[‘–ignore-ssl-errors=true‘, ‘–ssl-protocol=TLSv1‘])

在初始化driver时传入参数”service_args=[‘–ignore-ssl-er

最低0.47元/天 解锁文章
万字攻略全面了解selenium_selenium教程
HRG520JN的博客
07-22 2万+
一起学习下python爬虫4小分队（scrapy、beautifulsoup、selenium以及pyppeteer）之一的Selenium库，主要用于模拟浏览器运行，是一个用于web应用测试的工具。Selenium直接运行在浏览器中，看起来就像人在操作一样（也可无窗口模式运行）。支持的浏览器包括IE、Firefox、Safari、Chrome、Opera和Edge等。............
使用selenium和beautifulsoup爬取网页的注意事项
weixin_45710335的博客
08-09 563
本文主要是基于我自己做的一个小项目：采用selenium和beautifulsoup获取163邮箱所有未读邮件内容，结合自己接触使用selenium和beautifulsoup的过程中，我将自己认为几个比较重要的地方记录下来，希望对大家有帮助。
selenium环境等需要注意的点
rabbit198888的博客
05-28 406
1、TypeError: 'NoneType' object is not iterable  返回数据为空值数据库获取的一个字段的数据，只是一个列表数据，len为1，需要split分隔adb server version (32) doesn't match this client (36)或（35）或（39）  有可能某个应用软件的商品与adb冲突了,如豌豆荚的ppadbserver.exe也...
selenium脚本编写的注意点，那些我踩过的坑
软件测试技术资源分享官
04-24 342
在通过python+selenium编写ui自动化脚本的时候，我遇到过很多需要注意的点，今天分享给大家一下。 一、睡眠时间 1、 强制等待时间 sleep() 必须导入time包后才可以使用，强制等待生效时间=页面跳转时间+sleep()设置休眠时间 强制等待时间使用语法：sleep(s) s表示时间，以秒为单位 例：sleep(2) 休眠2s 2、显示等待时间 WebDriverWait() 必须导入WebDriverWait包才可以使用，显示等待时间是针对单个元素生效的，当在规定时间内找到了对应元素，则
selenium优缺点_Selenium测试自动化工具的优缺点
编程故事的地方
10-23 1万+
selenium优缺点 谁不喜欢深背景的命名故事？ 在2000年代初期，一家名为Mercury Interactive的公司通过其工具Astra Quick Test统治了测试自动化领域。 这不是可以想象的最好的产品。 例如，您只能在Windows计算机上运行测试，仅支持少量浏览器版本，并且必须使用一种语言编写脚本-VBScript。 当软件工程师Jason Huggins构建新的创新测试...
python selenium优缺点
caidingjiao的博客
02-29 5106
静态爬取的方法太多太多，也很简单。 但是动态爬取就不一样了，普通的网站抓包也能找到接口文件，但是大型网站就不是那么容易找了，所以在数据量不大的情况下还是乖乖用selenium来爬咯。 selenium优点：貌似没有他不能爬的，操作简单。 selenium缺点：费时，效率低，模仿人工点击。 准备录一期教程，不知道有没有小伙伴喜欢 暂时没时间，我会尽快录制好发到公众号 ...
selenium基础2-优缺点、三种等待方式wait和局限
辩学思问的博客
02-12 2440
最近用selenium进行采集，遇到一些麻烦，对selenium的优缺点有了更深刻的理解。 先说说优点吧： 可视化界面，初学容易上手。 不深入理解动态加载和后端的交互也可以进行数据采集 比较符合普通人操作网页进行复制粘贴的习惯 缺点也很明显： 加载效率低，容易造成阻塞，采集效率也就不高 比较不易迁移，要适配没有界面的linux需要进行较多修改 可视化的采集容易遇到浏览器问题，比较不稳健 我...
一篇学会Selenium
weixin_46198734的博客
02-23 2951
​ Selenium是一个用于Web应用程序自动化测试的工具，它可以模拟用户在浏览器中的操作，如点击、输入等，以检测应用程序的功能和性能。
selenium基础知识 和 模拟登录selenium版本
巴里巴气的博客
07-05 1649
快速梳理selenium知识 直接高阶上手对模拟登录进行实战。获取需要解析的页面源代码,后面就可以对页面源代码进行过滤了
Selenium与RF框架各自的优缺点
w13632910369的博客
10-16 8034
Selenium自动化测试框架优点： 1.广泛的支持语言，平台和浏览器。支持多种平台(Windows，Linux，Solaris)和多种浏览器(IE，Firefox，Opera，Safari)，可以用多种语言(Java，Ruby，Python，Perl，PHP，C#)编写测试用例。 2.可以集成各种开发平台，如Jenkins，Maven，TestNG，QMetry，SauceLabs等。 3...
已解决selenium.common.exceptions.TimeoutException: Message:
努力让自己发光，对的人才能迎着光而来
11-24 1万+
已解决（selenium爬虫报错）selenium.common.exceptions.TimeoutException: Message:
selenium.common.exceptions.TimeoutException: Message: timeout: Timed out receiving message from rend
weixin_45910860的博客
08-21 2410
2、添加不加载图片设置，提升速度：chrome_options.add_argument('blink-settings=imagesEnabled=false')1、临时解决方法：chrome_options.add_argument('--headless')，该‘浏览器不提供可视化页面’设置去掉。根本原因是加载内容过多，导致的超时。
selenium.common.exceptions.TimeoutException: Message: 问题解决
qsmy_an的博客
05-20 2万+
selenium.common.exceptions.TimeoutException: Message: 问题解决 好几天没学基础知识了，开始写自动化的框架了，中间遇到的问题，解决之后都记录下~ 写了一个find_elements文件，调试的时候一执行报错： D:\my\python\python.exe D:/my/learning/kuangjia/ZTKXin/Utilpackage/find_elements.py ****** xpath id Traceback (most recent
已解决selenium.common.exceptions.TimeoutException: Message: timeout: Timed out receiving message from r
努力让自己发光，对的人才能迎着光而来
06-24 1万+
成功解决：selenium.common.exceptions.TimeoutException: Message: timeout: Timed out receiving message from renderer: 294.905 (Session info: headless chrome=102.0.5005.115)
【Python】已解决：selenium.common.exceptions.TimeoutException: Message: timeout: Timed out receiving messa
屿小夏.的知识博客
07-11 2457
在使用Selenium库进行Web自动化测试或爬虫任务时，我们有时会遇到一个常见的异常——selenium.common.exceptions.TimeoutException。特别是在使用无头浏览器（如headless Chrome）时，由于没有图形界面，问题可能更难被察觉。在这个例子中，如果页面加载或元素定位耗时超过10秒，就会触发TimeoutException。这个错误信息表明，Selenium在设定的时间内没有从Chrome渲染进程中收到响应。
已解决selenium.common.exceptions.TimeoutException: Message: script timeout
努力让自己发光，对的人才能迎着光而来
11-25 1万+
已解决（selenium模块操作浏览器报错）selenium.common.exceptions.TimeoutException: Message: script timeout
解决selenium报错导致程序异常终止
热门推荐
s_kangkang_A的博客
11-05 2万+
报错信息： selenium.common.exceptions.TimeoutException: Message: timeout 报错原因： 超时 比如我们有大量ip，去访问某个页面，但我们并不知道ip的稳定性，如果一个ip异常不能使用，可能会导致整个代码停掉，后面无法测试。 这时候就要用selenium自带的异常来解决： 代码： # -*-encoding: utf-8-*...
Python Selenium+ Robotframework 学习三：常见异常FAQ
weixin_44386742的博客
11-10 2001
常见异常一： 现象：selenium.common.exceptions.TimeoutException: Message 解决方案： 常见异常二： 现象：stale element reference exception 原因： 用Robot Framework框架做自动化时，碰到同一个case有时pass有时fail，fail的时候抛出stale element reference exception，关于这个异常，官方给出两个可能原因： The element has b.
selenium如何做到点击网页所有可以点击的地方
最新发布
08-09
在 Selenium 中，如果你想**点击网页中所有可以点击的元素**，可以使用以下方法： --- ## ✅ 实现思路 1. **获取页面上所有可点击的元素**； 2. **依次点击这些元素**； 3. **处理点击后可能的页面跳转或弹窗（如 alert）**； 4. **避免重复点击或无效点击**； 5. **添加适当的等待机制，防止页面未加载完成导致找不到元素**。 --- ## ✅ 示例代码（Python + Selenium） ```python from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.common.exceptions import ElementClickInterceptedException, TimeoutException, StaleElementReferenceException import time # 初始化浏览器驱动（以Chrome为例） driver = webdriver.Chrome() # 打开目标网页 driver.get("https://example.com") # 等待页面加载完成 wait = WebDriverWait(driver, 10) # 定义可点击的标签名（可以扩展） clickable_elements = driver.find_elements(By.XPATH, '//a | //button | //*[@onclick] | //input[@type="submit"] | //input[@type="button"] | //*[@role="button"]' ) print(f"共找到 {len(clickable_elements)} 个可点击元素") # 用于记录已点击的元素（避免重复点击） clicked_elements = set() # 遍历并点击每个可点击元素 for index, element in enumerate(clickable_elements): try: # 等待元素可点击 wait.until(EC.element_to_be_clickable(element)) # 获取元素的位置信息用于唯一标识（如 tag + text + location） tag_name = element.tag_name text = element.text.strip() location = element.location element_id = f"{tag_name}_{text}_{location['x']}_{location['y']}" if element_id in clicked_elements: print(f"跳过重复元素: {element_id}") continue # 打印点击信息 print(f"正在点击第 {index+1} 个元素：标签={tag_name}, 文本='{text}', 位置={location}") # 滚动到元素位置（防止元素不在可视区域） driver.execute_script("arguments[0].scrollIntoView({ behavior: 'auto', block: 'center' });", element) # 等待一下，防止太快导致点击失败 time.sleep(0.5) # 点击元素 element.click() # 添加到已点击集合 clicked_elements.add(element_id) # 等待页面跳转或加载 time.sleep(1) # 处理弹窗（如 alert） try: alert = driver.switch_to.alert print("检测到弹窗，内容为：", alert.text) alert.accept() except: pass except (ElementClickInterceptedException, StaleElementReferenceException, TimeoutException) as e: print(f"无法点击第 {index+1} 个元素：{e}") continue # 关闭浏览器 driver.quit() ``` --- ## ✅ 可点击元素的定位策略（XPath） 你可以使用以下 XPath 来定位可点击的元素： ```xpath //a | //button | //*[@onclick] | //input[@type="submit"] | //input[@type="button"] | //*[@role="button"] ``` | XPath 表达式 | 含义 | |--------------|------| | `//a` | 所有超链接 | | `//button` | 所有按钮 | | `//*[@onclick]` | 所有带有 onclick 事件的元素 | | `//input[@type="submit"]` | 提交按钮 | | `//input[@type="button"]` | 普通按钮 | | `//*[@role="button"]` | 语义上是按钮的元素（如 div 或 span） | --- ## ✅ 注意事项 1. **元素可能重复出现**：比如“返回顶部”按钮在多个页面都存在，要防止重复点击； 2. **元素可能被遮挡**：使用 `scrollIntoView` 滚动到元素位置； 3. **点击后页面跳转**：点击后页面跳转会导致后续元素失效，可考虑刷新页面或返回上一页； 4. **防止死循环**：某些按钮点击后会再次触发相同的元素列表； 5. **使用 try-except 捕获异常**：如 `ElementClickInterceptedException`、`StaleElementReferenceException`； 6. **添加等待机制**：确保元素加载完成再点击； 7. **处理弹窗**：使用 `switch_to.alert` 捕获并处理弹窗。 --- ## ✅ 可选优化 - 使用 `set` 记录已点击的元素（防止重复）； - 使用 `driver.back()` 返回上一页继续点击； - 使用 `BeautifulSoup` 或 `lxml` 分析 DOM，配合 Selenium； - 使用 `headless` 模式运行浏览器（后台静默执行）； - 使用 `Selenium Wire` 拦截网络请求，判断是否跳转； - 使用 `ActionChains` 模拟更复杂的点击行为。 --- ##
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值