selenium 页面超时后捕获异常也无法继续get(url)使用的问题解决方案

最新推荐文章于 2025-04-10 20:48:25 发布
最新推荐文章于 2025-04-10 20:48:25 发布
阅读量9.1k 收藏 10
点赞数 1
分类专栏： Python学习笔记 文章标签： python seleinum
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u013630017/article/details/79814440
版权
使用Chromedriver时会遇到get(url)超时的情况，导致页面一直加载无法继续，当存在大量不同的url需要访问抓取时，一个超时会导致后面所有的访问全部直接报time out错误。这里使用try捕获超时是不能解决问题的，错误即使捕获到了也无法继续使用当前标签。

简单的解决方法是：开启两个标签，主标签访问请求，另一个标签访问任意网站如百度
当捕获到timeout的时候 立即关闭主标签，切换到另一个标签上继续操作后面的URL。此时记得打开一个新的标签做备用。如此循环即可
详细代码可以到我的博客查看 http://www.xiaomilu.top/archives/106

Python下selenium的get()方法大量时间超时报错TimeOut
朱少强的博客
10-21 1万+
遇见的问题：python使用selenium时碰见了加载超时时，后续网页全部报加载超时的错误 解决办法：一旦超时出错后，重启浏览器，再继续跑，就没问题了。         昨天晚上跑了一个selenium的代码，好多个url，然后获取get到网页后截图保存到本地，使用nohup守护进程运行，同时开了五个程序一起爬，一边梦想着第二天早上的丰收成果。         第二天早上一看，只有二百多张...
python中selenium打开浏览器拿不到url_Selenium打开浏览器，但在Chrome和Firefox中都无法获取URL...
weixin_39610422的博客
12-21 823
当我调用get()时，webdriver将打开浏览器，但不会打开我请求的单击。在Firefox中没有URL应该在的地方，而在Chrome中，URL是测试“data:，”。不到一个月前，我在Chrome和Selenium之间使用相同的代码没有问题。在我正在使用：硒3.141.0铬71.0.3578.98火狐64.0铬驱动2.45.615355壁虎0.23.0OSX 10.13.4版Python 3....
Selenium中`driver.get(htmlfile)`方法可能出现的超时问题
最新发布
MrLi的博客
04-10 456
针对Selenium中方法可能出现的超时问题，以下是几种改进方案及具体实现方法：通过方法直接控制页面加载的最大等待时间。若超时，会抛出异常，需配合处理： 2. 调整隐式等待（Implicit Wait） 隐式等待作用于全局元素查找，虽不直接影响方法，但可结合显式等待优化整体流程： 3. 显式等待（Explicit Wait）结合条件判断 针对特定元素加载状态设置等待条件，避免因部分资源未加载导致阻塞： 4. 修改页面加载策略（Page Load Strategy） 将浏览器设置为不等待所有资源加载完成
selenium driver.get超时
yangqian1794的博客
08-03 1773
今天跑爬虫遇到get超时了 p一个有效的解决方案 from selenium import webdriver from selenium.webdriver.common.desired_capabilities import DesiredCapabilities #get直接返回，不再等待界面加载完成 desired_capabilities = DesiredCapabilities.CHROME desired_capabilities["pageLoadStrategy"] = "none"
基于selenium的unittes中的一个用例失败，导致下面用例不能继续执行的解决方法
qq_39677651的博客
01-25 3783
可利用@func_set_timeout()装饰器解决，如下例子所示： from func_timeout import func_set_timeout class TestInstanceCao(newmytest.NewTest): @func_set_timeout(5) def test_create_image(self): glancename =...
Python爬虫代理ip异常和超时解决方案
wanbianip的博客
10-07 2620
Python爬虫中的代理ip异常和超时如何解决？程序员在敲代码的过程中，一定会出现一定的错误，特别是像Python爬虫这种程序，并不能肯定每次请求都能保障稳定的返回同样的结果，例如反爬虫机制的强化，代理IP超时等，这类状况得到及时的解决，才可以保障爬虫工作良好的进行下去。借助万变ip代理来突破ip限制。 Python爬虫中的代理ip异常和超时如何解决 一、反爬虫机制。相信大多数的爬虫工作者都比较了解，这里就不详细的介绍了 二、超时设置。网络的稳定性不会和平时一样，原因可能是代理IP在某一个时间段内不能保持平
【动态网页爬取解决方案】：Selenium和Puppeteer的实战应用
[【动态网页爬取解决方案】：Selenium和Puppeteer的实战应用](https://media.geeksforgeeks.org/wp-content/uploads/20190801202300/sel.jpg) # 1. 动态网页爬取概述 在信息时代的浪潮中，动态网页爬取技术成为了...
Selenium问题诊断与解决：提升测试稳定性技巧大全
Selenium是一个用于Web应用程序测试的工具，它允许自动化Web浏览器操作，是IT行业广泛使用的自动化测试解决方案之一。它支持多种编程语言，包括Java、Python、C#等，并能与多种浏览器和操作系统配合使用。Selenium...
PyQt5与Selenium交互，使用Webdriver美读取一个网页后，将其文本内容太写入plainTexrEdit后并显示后，再读取下一篇网页，并追加写入plainTextEdit
03-29
好的，我需要帮助用户解决使用PyQt5和Selenium WebDriver抓取网页文本并在plainTextEdit中动态显示及追加多页内容的问题。首先，我得理清用户的需求。他们想要实现的是，通过PyQt5构建一个GUI界面，使用Selenium加载...
【Java配置问题解答】：SQL Server连接的常见问题与解决方案
[【Java配置问题解答】：SQL Server连接的常见问题与解决方案](https://www.mssqltips.com/tipimages2/7514_sql-create-schema.002.png) # 1. Java与SQL Server的连接基础 ## 1.1 简介 在现代的软件开发中，将Java...
selenium切换标签页解决get超时问题的完整代码
12-17
从 gif 直观地感受一下效果 我有大量 url 需要访问，但是有些 url 会超时 为了避免超时，设置driver.set_page_load_timeout(3)限时3秒，一旦超时就会产生 TimeoutException 而且超时后标签页就卡柱了，只能通过 driver.close()关闭 如果你只有一个标签页，关闭就直接退出了，还得重启 自然想到先保留一个备用的标签，原标签超时需要关闭的时候就切换过来，然后再关闭，并打开新标签，保证任何时候都有两个标签页可用！！ def visit(urls, timeout=3): driver.implicitly_wait(timeout)
selenium get()页面超时，捕获异常后，如何打开新的页面
weixin_31315135的博客
06-06 3205
selenium中，当我们一次性要爬取很多url时，当get()页面超时后，捕获异常后，还需要继续get()其他url页面，但是当你直接调用get()方法时，会报异常。此时解决方法有两种，一种是重启浏览器，另一种是浏览器保持有两个tag页，当超时是切换到另一个tag（注意：tag页是很容易加载的） 方法一： from selenium import webdriver import os impo...
关于python UI Selenium自动化的一个浏览器driver重复调用问题
流浪的python(QQ796245415)的博客
03-22 1938
最开始也是和大多数一样先写个方法去定义一个驱动每次都要传入一个driver对象 class PageObject(object): def __init__(self, driver): self.driver = driver def test(self): ele = self.driver.find_element_by_id("menu-...
Docker selenium自动化 - 执行程序没反应、不执行原因，强制处理之前失败的进程，“... requests waiting for a slot to be free“问题解决
小蓝枣的博客
11-18 1418
docker 运行 selenium 自动化发现根本不向下走了。 访问 Grid 控制台发现提示 3 requests waiting for a slot to be free. 原因是之前执行失败的进程没有正常释放才会出现阻塞的问题。 查看详细信息可以看到超时时间为 1800 秒，即问题进程卡 30 分钟才会自动释放掉。 通过 cocker restart + 实例名 来强制释放失败的进程。 脚本改进方案： 通过 try [关键代码] finally [进程释放]的方式可以避免调试过程中的进程不释放问题
Python selenium页面加载缓慢，超时解决办法
weixin_44216320的博客
03-04 6974
最近在编写selenium自动化测试框架，遇到一个烦人的问题， driver.get()不执行完，浏览器页面一直在转圈圈，下面的代码根本就不会执行，耗时一天的时间终于解决了。 原理：driver.get() 方法默认等待页面加载完成，再往下执行。 解决方案1： 设置页面超时时间，超过该时间的时候，就停止加载页面 driver.set_page_load_timeout(2) try: driver.get(cls.base_url)
Java+selenium中get无法访问的url时崩溃
diaojian66的博客
06-03 889
今天在使用用driver.get(url)过程中，发现当url无法访问时程序会直接崩溃退出，且没有任何错误提示，于是想到用JS来实现访问url，具体代码如下： ((JavascriptExecutor) driver).executeScript("window.open(arguments[0],'_self');","https://www.youkuaiyun.com/"); ...
selenium get()函数加载页面超时错误解决
weixin_31315135的博客
06-03 5651
当遇到加载页面长时间加载不出来，导致程序异常的问题，解决方法如下：
关于python中selenium获取不到跳转页面的当前url问题解决
weixin_44623675的博客
01-26 9849
问题
评论 17
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值