关于python中selenium获取不到跳转页面的当前url问题解决

最新推荐文章于 2024-06-09 10:10:55 发布
原创 最新推荐文章于 2024-06-09 10:10:55 发布 · 9.9k 阅读 · 35 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#selenium #python

本文介绍使用Selenium处理点击后打开新标签页的问题，详细解释如何定位元素并点击，之后如何正确切换到新标签页获取URL和HTML，适用于Python爬虫开发。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

关于python中selenium获取不到跳转页面的当前url或是HTML问题解决

问题详述：
在selenium爬取带有js渲染的网页时，当某些网页点击跳转新的标签页后，通过采用url = browser.current_url来获取当前点击跳转后页面的url或是html时，对于某些网站可以获取，但是对于大部分网站都获取不了，只能获取主页面的url或是html代码；
问题可能是因为，对于某些网站来说，你即使点击了，或是输入回车键了，但是代码还停留来源主页，要进行代码中的切换；

问题解决：

网上查了好多，大多是获取点击不打开新标签的网页，（估计没有人那么闲，直接点击打开新标签后在进行selenium操作就好了，可是总会有各种各样的需求）其实问题解决也很简单，把用selenium切换到当前标签页：
代码段：

cssSelect = 'body > div.app.app--light'
wait = WebDriverWait(browser,10)
wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,cssSelect)))#等待加载
browser.find_element_by_css_selector(cssSelect).click()#用css选择器，找到元素按钮后点击，打开新标签
browser.switch_to.window(browser.window_handles[1])#切换当前页面标签
rul = browser.current_url#获取新标签url
html = browser.page_source#获取新标签html
python获取淘宝客链接跳转后的url网址（使用selenium）
shjsfx的博客
05-08 2784
看到很多人需要，但网上现成的代码都不能直接使用，所以特意分享一下。也可以用于获取各种跳转链接跳转后或者重定向后的url。 #引入必需的模块 from selenium import webdriver from selenium.webdriver.chrome.options import Options #原始url，链接是网上找的，这里只做演示 req_url = "https://s.click.taobao.com/t?spm=a2e15.11083356.10000.ds4&a.
python中selenium打开浏览器拿不到url_Selenium打开浏览器，但在Chrome和Firefox中都无法获取URL...
weixin_39610422的博客
12-21 831
当我调用get()时，webdriver将打开浏览器，但不会打开我请求的单击。在Firefox中没有URL应该在的地方，而在Chrome中，URL是测试“data:，”。不到一个月前，我在Chrome和Selenium之间使用相同的代码没有问题。在我正在使用：硒3.141.0铬71.0.3578.98火狐64.0铬驱动2.45.615355壁虎0.23.0OSX 10.13.4版Python 3....
Selenium登录页面点击登录页面没有跳转问题（click（）失效）
weixin_46009999的博客
01-12 1865
对于一般的登录界面的登录按钮用xpath定位元素再点击就可以进入页面，但是如果登录不是一个按钮而是一张图片，这时我们该怎么定位并登录成功呢？
【Selenium】获取当前页面所有可点击跳转的链接
qq_48180611的博客
03-14 2544
使用Selenium一键式页面上的所有链接，是非常不现实的，需要人工辅助
driver.getCurrentUrl()方法无法获取跳转后的窗口链接
weixin_44149742的博客
12-13 564
第一种方法 先通过 driver.getWindowHandle();方法获取新窗口的权柄，如何通过for if语句来将driver对象切换到新窗口中；将driver.getWindouwHandle()方法获取的页面权柄放在set集合中，然后移除原始窗口权柄，定位新窗口权柄，将driver指向新窗口。上面是通过for if语句来实现的 ，还有一种方法，同时也可以在切换回初始页面的driver，该方法是。
python 爬虫首页登录弹窗 用selenium获取不到弹窗解决
u012935344的博客
04-17 3118
一个类似java 的probe的弹窗的登录如下。 一开始想着用selenium自动化测试处理 。发现无法获取到这个弹框。因为不在dom里面，alert处理，获取当前聚焦元素都处理不了。 经过研究发现，其实直接用requests的get请求加auth就可以了。真是瞎搞。 例如： r = requests.get('http://127.0.0.1:8080/probe', auth=('t...
Python+selenium+webdriver 解决多窗口跳转后的当前页面元素定位
Chase_zq的博客
07-31 5300
描述：通常我们selenium元素的时间经常遇到只要跳转页面了，定位就总是找不到我要找的元素，这是因为的你定位指针driver没有指向第二个页面，所以无法定位。知道原因后哪怎么来切换定位窗口呢，很简历。 通过下面语句可获取当前指定的窗口handle name，但是这里很多学者会觉得他获取的就是第二个页面的handle name,从页面显示可得知，其实错了，我也犯过这些的错。我们需要获取drive...
【Python】Selenium基础入门
weixin_45698637的博客
06-09 3796
selenium基本操作
selenium项目代码详解-获取页面链接
m0_60096200的博客
03-17 1928
import random from time import sleep from selenium.webdriver.common.keys import Keys from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.su...
使用Python+Selenium实现自动批量获取HiRISE影像下载链接
weixin_43939276的博客
03-14 585
基于不做无用重复劳动的考虑，本文使用Python+Selenium库的方式实现了根据包含影像ID的搜索结果自动批量搜索并获取下载链接的功能。使用代码时，用户只需要写好存放搜索结果的文本文档所在的目录，并输入存放搜索结果的文本文档名字，程序就能自动从网页上批量获取影像数据的下载链接，并将其保存在文本文档中，非常便捷、高效。
selenium 如何获取当前页面的url
最新发布
06-07
我们正在解决如何使用Selenium获取当前页面URL的问题。根据引用内容，特别是引用[1]、[2]、[3]和[4]，我们可以明确得知Selenium提供了`driver.current_url`方法来获取当前页面的URL。用户的问题直接明确：如何使用...
python+selenium click点击后，页面源码无变化
清风专栏
02-23 2599
使用python+selenium模拟点击 通过Xpath进行匹配出下一个文章或者下一页的链接后chrome.find_element_by_xpath("//li[@id='sogou_vr_11002301_box_0']/dl[3]/dd/a").click() 若直接点击后通过chrome.page_source.encode("gbk", "ignore").decode("gbk")获取源码，此时获取的并不是click执行之后的页面的源码，而是上一个页面的源码。 此时可通过判断新的句柄是否是当
python从文件读取URL，导致爬虫失败
Sven的忘却日记
07-06 980
需求：从文件中逐行读取md5字符串，作为URL参数抓取某个接口返回的内容，并保存到数据库。 问题：接口返回请求参数错误，经过对比发现直接在URL中写死MD5参数就没问题，数据正常返回。 解决过程： 1.首先排除了从文件中读取的字符串，和直接写的字符串编码不同的问题。 2.后面想到txt文件之前也是用python脚本生成的，生成txt文件的时候再每一行加了\n换行符，尝试剔除\n换行符，结果...
Java+selenium中get无法访问的url时崩溃
diaojian66的博客
06-03 898
今天在使用用driver.get(url)过程中，发现当url无法访问时程序会直接崩溃退出，且没有任何错误提示，于是想到用JS来实现访问url，具体代码如下： ((JavascriptExecutor) driver).executeScript("window.open(arguments[0],'_self');","https://www.youkuaiyun.com/"); ...
selenium爬取不到内容，怎么解决
cchengfengf的博客
10-17 992
用selenium爬取黑猫投诉，能够打开网页并且自动翻页，但好像爬取不到内容下来
Selenium+requests出现窗口不能跳转的情况
月上桃花，拨灯书尽百世梦
01-02 1065
用selenium+requests进行央视网新闻抓取的时候，会出现搜索页面无法跳转的情况。 爬虫设计的思路： def search()#主要用来打开网页，并输入关键字进行搜索 def get_link_url()#定义抓取链接 def parse_html(link_url):#link_url是个列表，解析每一个链接得到的网页（requests.get()） def get_content(...
解决许多朋友都在问为什么selenium可以读出浏览器，但无法打开URL的问题！
weixin_49712647的博客
09-20 1432
自动化关键节点 给大家看一下我之前写的读不出来的代码 from selenium import webdriver webdriver.Edge driver_url = webdriver.Edge("C:\Program Files (x86)\Microsoft\Edge\Application\msedge.exe" driver.get("http://www.baidu.com") #可以看到，这个代码必然读不出来，并不是什么许多人都在说的什么版本不一致问题， #这个代码你肯定是读不出来URL的
selenium 页面超时后捕获异常也无法继续get(url)使用的问题解决方案
队长小楠的博客
04-04 9201
使用Chromedriver时会遇到get(url)超时的情况，导致页面一直加载无法继续，当存在大量不同的url需要访问抓取时，一个超时会导致后面所有的访问全部直接报time out错误。这里使用try捕获超时是不能解决问题的，错误即使捕获到了也无法继续使用当前标签。 简单的解决方法是：开启两个标签，主标签访问请求，另一个标签访问任意网站如百度 当捕获到timeout的时候 立即关闭主标签，切...
selenium+python：提示get错误原因
qq_50264368的博客
11-01 368
selenium+python：提示get错误原因。
在pycharm中安装selenium运行代码不跳转页面怎么办
04-03
在 PyCharm 中安装 Selenium 并运行代码时，如果发现浏览器没有正常跳转页面，可能是以下几个原因导致的问题： ### 可能的原因及解决办法 #### 1. **WebDriver 路径配置错误** - 如果 WebDriver 的路径未正确设置，则 Selenium 将无法找到对应的驱动程序（如 ChromeDriver 或 GeckoDriver），进而导致页面加载失败。 解决方法： 确保将正确的 WebDriver 放置到系统 PATH 下，或者直接通过 `webdriver.Chrome()` 指定驱动的绝对路径。例如： ```python from selenium import webdriver driver = webdriver.Chrome(executable_path='/path/to/chromedriver') ``` #### 2. **Selenium 版本与 WebDriver 不兼容** - 当前版本的 Selenium 和所使用的 WebDriver 驱动可能并不匹配。这会导致某些功能不可用。 解决方法： 升级或降级 Selenium 库以及对应浏览器的驱动至相互支持的版本，并检查官方文档确认兼容性： ``` pip install --upgrade selenium # 根据需要升级 chromedriver 到最新版 https://sites.google.com/a/chromium.org/chromedriver/downloads ``` #### 3. **脚本中有隐式等待时间不足** - 页面元素加载较慢可能导致 Selenium 执行命令之前还未完成初始渲染就试图操作某个不存在或尚未完全展示出来的控件。 解决方案： 添加显式的等待条件来确保关键内容已被成功载入再继续下一步动作： ```python from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC wait = WebDriverWait(driver, 10) element = wait.until(EC.presence_of_element_located((By.ID, 'myElement'))) ``` #### 4. **网页地址输入有误** - 直接访问的目标 URL 地址拼写上存在差错或者是无效链接都会造成最终结果为空白页的情况发生。 对策建议：再次核对实际请求的目标网址是否准确无误； 示例代码片段示例如下所示: ```python url = "https://www.example.com" driver.get(url) print("当前打开网站为:",driver.title ) if driver.current_url == url : print('已正确进入指定站点!') else: print(f"未能正常开启目标站 {url}") ``` ---
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值