chrome使用xpath的坑

最新推荐文章于 2025-06-03 17:49:49 发布
最新推荐文章于 2025-06-03 17:49:49 发布
阅读量6.7k 收藏 6
点赞数 3
CC 4.0 BY-SA版权
文章标签： scrapy xpth
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/happyuu/article/details/81003127
本文介绍了一个使用Python Scrapy爬虫时遇到的问题：从Chrome复制XPath选择器后，因额外的tbody标签导致匹配失败。文中提供了正确的XPath表达式，并解释了移除多余标签的方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

近期使用python的scrapy进行爬虫练习时，使用chrome自带的xpath复制到代码中，匹配的时候总是出现结果为空，查后发现是在html结果中自加tbody 标签。

例如：

#复制出来的xpath

xpath('//*[@id="position"]/div[1]/table/tbody/tr[1]')

#正确的xpth，把tbody去掉，搞定

xpath('//*[@id="position"]/div[1]/table/tr[1]')

使用selenium+chromedriver+xpath爬取动态加载信息
Liu_Bruce的博客
02-09 3414
使用selenium+chromedriver+xpath爬取动态加载的信息 使用selenium实现动态渲染页面的爬取，selenium是浏览器自动化测试框架，是一个用于Web应用程序测试的工具，可以直接运行在浏览器当中，并可以驱动浏览器执行指定的动作，如点击、下拉、填充数据、删除cookie等操作，还可以获取浏览器当前页面的源代码，就像用户在浏览器中操作一样。该工具所支持的浏览器有IE浏览器、Mozilla Firefox以及Google Chrome等。 安装selenium模块 首先打开Anaco
python+selenium+xpath实用，避坑，爬虫篇
qq_36259105的博客
08-27 1436
selenium selenium可以模拟真实浏览器，自动化测试工具，支持多种浏览器。结合谷歌驱动，实现爬取数据。 谷歌驱动下载地址：http://npm.taobao.org/mirrors/chromedriver/ 在谷歌浏览器上输入chrome://version/，可以看到自己谷歌对应的版本，并下载对应的谷歌驱动 对应版本的84.0.4147对应上即可，后面的只是这个版本修复的次数。 设置谷歌驱动参数 option = webdriver.ChromeOptions() option.add_
Chrome 解决 安装xpath helper工具时报错CRX HEADER INVALID 问题
mr~li的博客
02-28 681
1.把下载好的xxx.crx 的扩展名改为 xxx.zip 2.在地址栏输入 chrome://extensions/，或者点击浏览器左上角三个点-->更多工具-->扩展程序，进入 扩展程序 安装界面 3.打开 开发者模式 开关 4.拖动 xxx.zip 文件拖动到 扩展程序安装界面 按照以上四部即可安装成功 ...
爬虫页面解析——使用Chrome调试工具获取XPath
ScapeD的博客
08-21 1454
按F12打开调试器，打开Elements选项卡 找到目标元素对应的标签，右键——Copy——Copy XPath
Google插件--XPath安装使用
最新发布
vdtud的博客
06-03 652
安装完成后，重启chrome，按下Ctrl-Shift-X，再点击XPath图标，就打开了若想把XPath移到页面下方，按下Shift即可实现按住Shift，移动鼠标到想获取XPath表达式的元素上，即可实现
Chrome浏览器获取XPATH的方法----通过开发者工具获取
weixin_30664539的博客
02-06 267
chrome有自己的开发者工具，可以用这儿来直接获取xpath，都不用担心正确性了。 具体使用步骤如下： 1、在chrome浏览器的右上角有个选择菜单，也就是这个，点一下： 2、在列表最后面有个“更多工具”，点击一下，就可以看到开发者工具了。 3、打开开发者工具后，点击开发者工具中第一行的第一个对话框Elements，如下： 这是极客学院的首页源代码。 4、这个时候就看到了...
chromerdriver下载地址:xpath_help
weixin_34401479的博客
12-05 236
chrome下载地址 http://npm.taobao.org/mirrors/chromedriver xpath_help https://blog.youkuaiyun.com/Cayny/article/details/81396711 可以设置隐私模式下获取 转载于:https://www.cnblogs.com/x2x3/p/10070294.html...
自动化测试必备：XPath “或” 逻辑使用
花小田的魔法屋
03-22 608
在百度搜索页或其他复杂网页的测试中，不妨试试这些方法，让元素定位不再成为卡点。打开开发者工具，直接在 “Elements” 面板测试 XPath 表达式，实时验证定位结果。合并的路径需返回同类元素（如均为节点或属性），避免混合元素与属性导致结果混乱。在 XPath 的谓语（条件判断）中使用，满足任一条件即可匹配元素。需求：在百度搜索结果页，同时获取自然搜索结果和广告结果的标题及链接。（全局搜索），尽量从最近的父节点开始定位，提升脚本执行效率。需求：在百度搜索页中，跳过底部版权信息和广告模块。
xpath补充：lxml.etree常用方法，使用selenium、xpath定位不到标签时处理办法
旧人小表弟的博客 - 无业游民学习笔记
10-16 2330
获取属性的值和标签中的文本 有时候不能直接定位到标签的属性，需要首先定位到webelement，之后get到属性 try: temp['host_url'] = node.find_element_by_xpath('./div/div/div/ytd-video-meta-block/div/div/div/yt-formatted-string/a/@href') temp['host_url'] = node.find_element_by_xpath('./div/div/div/ytd
xpath如何进行使用？
02-18
嗯，用户现在问的是XPath的使用方法。之前他们提到信息素养中的工具可能过时，我之前的回答已经覆盖了各种现代工具，比如AlphaSense、卫星数据工具等等，但用户现在具体问的是XPath，这说明他们可能在实际操作中遇到...
python xpath定位 嵌套标签_[爬虫]xpath无法定位tbody标签（已解决）
weixin_34378815的博客
01-28 3059
2020.7.15更新以前的讲法有点问题，所以再次更新一下，也算是填坑定位不到tbody是因为标准差异，tbody不是必须存在的chrome的Elements标签页的tbody是肯定存在的但是程序员写的网页不一定会有tbody但是在chrome的Elements标签页不管返回的html有没有tbody，chrome都会有(有就不加，没有就自动加上)所以用selenium请求网页数据，就加上tbod...
Chrome DevTools无法复制代码解决方法
Fly_鹏程万里
01-11 3137
Settings -> Experiments -> Filter 输入 Past -> 取消勾选"Show warning about Self-XSS when pasting code"Chrome的DevTools中无法复制张贴代码。随后关闭选项并重新加载DevTools。点击发人员工具 右边上方齿轮（设定）
（python）undetected_chromedriver浏览器自动化测试
MARST.ZHANG的博客
09-19 9611
是一个用于绕过 Web 自动化中的 ChromeDriver 检测的 Python 库。它提供了更好的隐匿性和稳定性.适用于以下场景：可以用于模拟用户在浏览器中的操作进行自动化测试，例如填写表单、点击按钮、抓取页面内容等。由于其对驱动程序的检测绕过能力，可以帮助您避免被网站检测到并防止启动时的安全问题。在进行网页数据爬取时也能够提供更高的隐匿性。它可以模拟浏览器行为，如加载 JavaScript、执行 Ajax 请求等，从而获取动态生成的内容。
Mac环境在谷歌浏览器搭建Xpath定位
qq_34214624的博客
04-27 853
3、搭建自己的测试程序项目，如果Python，需要下载安装selenium， 引入selenium的webdriver和By文件，用webdriver.Chrome()获得句柄对象，dr.get("网址URL")打开网页，用find_element(By.XPATH,”定位内容”)获取页面元素进行测试操作啦。2、浏览器安装xpath定位：谷歌浏览器安装扩展程序，重启谷歌浏览器->同时按住快捷键（command+shift+X)调出面板，按住shift选择元素即可定位。
Chrome如何使用xpath定位元素
huan_128的专栏
05-03 4987
打开扩展程序 打开chrome的配置页面 - 如下图 点击右上方的配置 - 工具 - 扩展程序 xPath helper是一款Chrome浏览器的开发者插件，安装了xPath helper后就能轻松获取HTML元素的xPath，程序员就再也不需要通过搜索html源代码，定位一些id去找到对应的位置去解析网页了。 安装后，重启浏览器。 使用 如果我们要查找某一个、或者某一块元素的xpath路径，可以按住shift，并移动到这一块中，上面的框就会显示这个元素的xpath...
python+selenium 使用Chrome获取Xpath元素定位方法
weixin_45405705的博客
02-25 972
使用Chrome获取Xpath元素定位方法 发现选中元素在Elements中会亮选，选中亮选的内容，右键=>Copy=>Copy Xpath
python selenium xpath-helper chromedriver的安装
qq_42756195的博客
09-04 482
1.安装selenium 我是在windows端使用的anaconda中的spyder，直接打开anaconda prompt(类似windos的cmd) pip install prompt 2.下载chromedriver插件 1：下载地址：(https://npm.taobao.org/mirrors/chromedriver/) 注意要下载自己浏览器对应版本的插件，谷歌浏览器的版本可以通过点解浏览器右上角的箭头进入帮助中查看 2：下载解压后将插件放入系统环境变量目录中，或者将目录加入到系统环境变
简单粗暴彻底解决selenium+chromedriver无法定位各种元素的方法
热门推荐
一个业务人员的技术之旅
02-24 3万+
解决各种webdriver.find_element定位不准的问题
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值