xpath很有帮助的一些用法

最新推荐文章于 2025-05-28 16:05:02 发布

原创最新推荐文章于 2025-05-28 16:05:02 发布 · 550 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#xpath

爬虫-python 同时被 2 个专栏收录

1 篇文章

订阅专栏

xpath

0 篇文章

订阅专栏

本文介绍了一些XPath较少使用的技巧，例如定位特定标签及获取相关信息。此外还介绍了如何使用BeautifulSoup清理不规范的HTML标签，确保XPath能够正确解析。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

xpath比较少见的一些用法

查找如上h1标签下面的两个同级tab标签

div_h1 = et.xpath(u'//div/h1[contains(text(), "社保信息")]/following-sibling::table')
# com_dict['company_zch'] = ''.join(div.xpath(u".//span[contains(text(), '社会信用代码')]/following-sibling::*[1]/text()")).strip()

补全清理标签
有时候会遇到xpath获取不到的情况，这种情况很可能是html标签不规范等因素引起的，此时可以使用bs4的一个方法来清理标签，然后在xpath解析

import sys
reload(sys)
sys.setdefaultencoding('utf-8')
from lxml import etree
from bs4 import BeautifulSoup
s = open('1.html').read()
soup = BeautifulSoup(s, 'html5lib', from_encoding='utf-8')
html = soup.prettify()
et = etree.HTML(html)
content = et.xpath('string(.//div[@id="Zoom"])')
print content