selenium查找不到元素,翻页后定位失败,爬取不到

本文探讨了使用Selenium进行页面操作时遇到的问题及解决方案,包括页面未完全加载导致的元素查找失败、如何通过执行JavaScript使页面滚动到底部、切换操作窗口以及逐级定位元素等关键步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

能用到的思路

有人说,是页面没加载完
1.使得当前页面下拉:
web.execute_script(“window.scrollTo(0, document.body.scrollHeight);”)
2. selenium:操作翻页以后,selenium默认还在操作原来页面,让它改变当前操作页:
web.switch_to.window(web.window_handles[-1])
3.上面两种我都试了,但是还没找到需要的元素,我试着打印了当前页面,发现果然要找 的元素还没加载出来:
print(“当前网页源码==>”+web.page_source)
4. 最后发现,确实是页面没加载出来,但是我看到了说因为selenium格局大,眼界只能放在外面一层, 你需要一步步定位到里面,这时,我明白了为什么我第一页能找到而第二页找不到,因为我有一行代码divs,放在了循环外面,selenium需要一级级进去

出错前:

在这里插入图片描述
把代码放进去循环,每次翻页需要定位两次

解决:

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值