python中无法安装xpath库_为什么在python中使用lxml时xpath失败?

本文探讨了XPath在处理动态网页内容时遇到的问题,并提供了一个使用Selenium的示例,以展示如何抓取那些由JavaScript生成的内容。同时,文章还讨论了浏览器如何在后台修改文档结构。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

xpath根本就错了

以下是页面片段:

Home >

您可以看到,带有id的元素是"v65-product-parent" is of type表and has subelementtr`。在

只有一个元素具有这样的id(否则它将是断开的xml)。在

xpath期望tbody作为给定元素(表)的子元素,而整个页面中没有。在

这可以通过

^{pr2}$

Chrome是如何使用XPath的?在

如果您只需通过$ wget http://www.makospearguns.com/product-p/mcffgb.htm

检查它的内容,它不包含一个名为tbody的元素

但是如果你使用Chrome开发工具,你会发现一些。在

它是怎么来的?在

如果JavaScript在浏览器中发挥作用并生成一些页面内容,则通常会发生这种情况。但正如legostromtropor所指出的,这不是我们的情况,这次是浏览器修改文档以使其正确。在

如何在浏览器中动态修改页面内容?在

你必须给某种浏览器一个机会。E、 如果你使用selenium,你就会得到它。在

byselenium.pyfrom selenium import webdriver

from lxml import html

url = "http://www.makospearguns.com/product-p/mcffgb.htm"

xpath = '//*[@id="v65-product-parent"]/tbody/tr[2]/td[2]/table[1]/tbody/tr/td/table/tbody/tr[2]/td[2]/table/tbody/tr[1]/td[1]/div/table/tbody/tr/td/font/div/b/span/text()'

browser = webdriver.Firefox()

browser.get(url)

html_source = browser.page_source

print "test tbody", "tbody" in html_source

tree = html.fromstring(html_source)

text = tree.xpath(xpath)

print text

什么指纹$ python byselenimum.py

test tbody True

['$149.95']

结论

当谈到浏览器中的更改时,Selenium非常棒。不过,这是一个有点重的工具,如果你能做得更简单,就那样做。乐高Stormrtoop提出了这样一个更简单的解决方案来处理简单的网页。在

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值