爬虫selenium模拟浏览器xpath找不到元素

最新推荐文章于 2024-01-05 20:50:40 发布

原创最新推荐文章于 2024-01-05 20:50:40 发布 · 822 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#selenium #python

本文通过实战案例介绍了如何使用Selenium结合XPath爬取网页数据。针对XPath无法定位元素的问题，提出了使用sleep方法等待页面加载完成的解决方案，适用于异步加载的网页。

利用selenium模仿浏览器，爬取数据

利用xpath发现爬取不到元素，一直以为是xpath的问题，

解决：

后来看了个视频才明白，每次click()方法速度过于快，因为它模仿我们的浏览器打开页面，浏览器需要加载，所以引入time睡2秒，等页面加载出来，再利用xpath去定位元素~

总结：

总之，我觉得用click()方法后最好用sleep(1)，这样就能来等页面加载过来，对付这种异步加载的页面就应该多用sleep，毕竟模拟浏览器

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

dfnsyyds

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Python 爬虫教程：使用 Selenium 模拟浏览器抓取高质量图片

2201_76125261的博客

04-04

1273

requests当爬虫规模较大时，Scrapy是一个更加高效的框架，适合进行大规模的数据抓取。

python用selenium网页模拟时xpath无法定位元素解决方法2

`Steven的博客

07-16

847

我们发现1721110144093这个数字在网页代码中是存在的，所以解决方法是使用正则定位抓取数字，然后拼接出xpath再用于定位元素。)精准定位数字的位置，由于网页代码中有多个重复内容，所以使用list容器，再使用data[1]，即list里的第一个元素，准确把数字提取出，然后拼接，就拿到最终的动态变化的xpath啦！本篇写第2种情况，就是xpath定位的元素中有变化的数字，比如wb这个上传视频的网址，“上传视频”的按钮，我们点击copy xpath后，得到的xpath是//

参与评论您还未登录，请先登录后发表或查看评论

xpath定位不到元素，试试这招？

python爬虫人工智能大数据

08-07

7531

最近在做一个自动化测试项目，遇到公众号元素定位无法找到的情况，通过uiautomator查看元素，按钮有text值，试了很多方法，通过xpath的@text方法没找到，后...

selenium xpath 定位不到元素

木下瞳的博客

02-15

1522

参考：https://www.cnblogs.com/yufeihlf/p/5689042.html 1.Frame/Iframe原因定位不到元素：　　这个是最常见的原因，首先要理解下frame的实质，frame中实际上是嵌入了另一个页面，而webdriver每次只能在一个页面识别，因此需要先定位到相应的frame，对那个页面里的元素进行定位。解决方案：如果iframe有name或id的话，直接使用switch_to_frame("name值")或switch_to_frame("id值.

Xpath定位不到元素的可能原因及解决方案

二十二画生的博客

01-05

9823

一般来说元素的id是比较稳定的，但是有些元素的id是不断刷新的。解决方案是通过修改Xpath路径来定位隐藏或不可见的元素，可以使用contains()函数、ancestor节点或preceding-sibling节点等来定位目标元素。：如果页面上有多个相同的元素，Xpath默认只会返回第一个匹配的元素。解决方案是使用索引来定位特定的元素，可以使用[1]、[2]等索引来定位第二个、第三个匹配的元素。：有些弹窗，会屏蔽其他元素操作，可以检查是否上层的弹框、下拉框之类的元素遮挡，优先处理弹窗的元素。

selenium找不到元素的几种原因（通过xpath定位元素不准确）

jierxiaoyao的博客

07-18

1万+

1.找到元素后，click没有作用，可以试试用action里的sendKeys模仿键盘敲enter键（注意：1.enter之前可能需要tab；2.sendKeys之后需要perform）例： //点击数据中心类型下拉框 createObject.type.click(); //数据中心类型下拉框click点不到，用tab键和enter键代替（sendKeys之后要perform一下）...

xpath找不到东西

Jayj1997的博客

09-26

1211

我的爬虫学习xpath找不到东西 xpath找不到东西上午刚出现了个xpath+text（）找不到东西，下午就遇到了xpath找不到东西，这整的。。。 xpath是这个 /html/body/div[4]/div[2]/div[2]/ul/li[3]/table/tbody/tr[2]/td[3]/a/@href 在浏览器的xpath插件也试过了没问题，问了问同事也说不知道，最后百度了一会发现...

Selenium模拟浏览器万能爬虫指南.pdf

04-10

优势方面，Selenium不需要复杂的抓包、构造请求、解析数据等操作，它通过模拟用户操作的方式，直接与浏览器交互，模拟真实用户的访问行为，从而降低了开发难度，同时它也不容易被网站的反爬虫机制发现。Selenium特别...

Selenium 模拟浏览器动态加载页面的实现方法

09-20

通过上述知识点的总结，我们可以得出Selenium模拟浏览器动态加载页面的核心是通过编程方式控制浏览器，模拟真实的用户行为，包括请求页面、执行JavaScript滚动以及模拟点击等交互操作，从而获取完整的动态页面内容。

精选资源

selenium爬虫使用Microsoft Edge浏览器抓取网页信息

09-09

selenium是一个自动化测试工具，它可以模拟浏览器操作，进行网页信息的获取。Microsoft Edge是微软公司开发的一款浏览器。结合这两个工具，我们可以利用python的selenium库，通过Microsoft Edge浏览器，实现网页信息...

XPath 测试工具快速XPath测试

08-05

自己开发的工具，经过一系列完善，目前能直接测试XPath并获取结果，暂没共享源码，后期会上传源码，敬请关注！

用python selenium的时候，为什么xpath定位不到元素

debroglie_bo的博客

02-26

903

python selenium xpath定位

解决selenium定位不到xpath元素： “NoSuchElementException: Message: no such element: Unable

weixin_49643729的博客

05-11

3340

找的元素被包含在iframe中，而不是主HTML源码中。需要添加以下代码先将driver切换到相应的iframe中，然后再进行元素的定位和数据的抓取。

Selenium UI自动化----li列表元素展开，Element元素不展开导致复制的xpath定位不到元素问题解决

panruola的博客

03-12

3733

对于列表项展开，元素未展开，导致复制的xpath定位不到元素的问题，可以手动定位，往上直到可以定位到的那层问题现象例：复制定位：//*[@id="nz-overlay-22"]/div/div/ul/li[2] 往上定位：//div[@class='nz-overlay-pane']/div/div/ul/li[1] 在F12 Console里面调试，而不是Element里面定...

【转载】Xpath定位方法深入探讨及元素定位失败常见情况

weixin_30814329的博客

10-18

1505

一、Xpath定位方法深入探讨（1）常用的Xpath定位方法及其特点使用绝对路径定位元素。例如： driver.findElement(By.xpath("/html/body/div/form/input"))。特点：这个路径是从网页起始标签开始一直到要定位的元素的路径，如果要定位的元素在页面最下面，则这个Xpath路径会非常长。如果在要定位的元素与页面开始之间的元素...

selenium又一小坑无法用XPATH直接获取属性值需要使用.get_attribute(“href”)

ahmot46880的专栏

09-20

903

在使用selenium进行抓取url的时候，试图使用find_elements_by_xpath来获取。因此想当然的直接使用XPATH的语法进行获取属性事例缩略后xml结构如下 <div class="qg-limit-list" data-spm="1998564503" data-spm-max-idx> <a href="//item.ta...

判断xpath是否存在的方法

Rita_9443的博客

12-24

4223

在测试过程中，我碰到过这类的问题，使用find_element却找不到某个元素而产生异常，这就需要在操作某个元素之前判定该元素是否存在，而selenium中没有判定元素是否存在的方法，或者判定相同的元素有几个，需要操作对象是第几个。但是，有人已经总结一些相关的方式方法，下面还是通过实例说明。 find_elements获取元素个数如果确定查找的元素在网页中只有一个,那么完全可以用find_element(),但如果有多个满足要求的节点,用find_element()就只能得到第一个节点了,所以查找多个

python抓取数据时失败_python爬取页面元素失败

weixin_39862097的博客

11-28

185

coursera上有不少经典课程值得收藏，于是想着把课程资源离线下来。就用requests和BeautifulSoup抓取课程资源页，分析资源链接，然后用curl批量下载。一些都很顺利，除了一个细节上的问题困扰着我，具体如下：我想抓取课程名称，以Machine Learning 课程为例，分析页面课程名称的页面元素，如下Machine Learning然后用BeautifulSoup分析tag，但...

爬虫使用xpath解析时返回为空，获取不到相应的元素的原因和解决办法