深入学习XPath：解析和提取XML数据的强大工具

原创

已于 2023-09-06 13:36:21 修改 · 1.9k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#xml #爬虫 #学习

于 2023-09-06 11:31:47 首次发布

1️⃣ 简介

🔴 什么是XPath

XPath即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言。

🟠 XPath的优点和用途

⭐平台兼容性： 由于XPath是标准化的工具，因此它们在不同的编程语言和操作系统中都可以使用。这意味着您可以在各种环境中应用这些技能。
🕋自动化任务： XPath可以用于自动化任务，例如在网站上查找和更新特定信息，或者从不同来源的XML数据中自动提取和汇总信息。这可以节省大量时间和人力成本。
💪强大的数据提取： XPat提供了一种强大而灵活的方法，用于从XML和HTML等结构化数据中提取所需信息。无论是从网页抓取数据还是处理XML文件，它们都是不可或缺的工具。
💻XML和HTML处理： 在处理XML和HTML文档时，XPath是Python中最流行的工具之一。它能够有效地解析这些文档，使您能够轻松地访问和操作其中的元素和属性。
♻数据清洗和转换： 在数据预处理阶段，XPath可用于清洗和转换数据。您可以轻松地过滤、排序、分组和格式化数据，以满足您的需求，使数据变得更容易分析和理解。

🟡 XPath在Python中的使用

由于XPath属于lxml库模块，所以首先要安装库lxml。

pip install lxml # 下载lxml库

from lxml import etree
selector=etree.HTML(源码) #将源码转化为能被XPath匹配的格式
selector.xpath(表达式) #返回为一列表

2️⃣ 使用

❗❗ 以下示例中皆用下面的HTML代码

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

这是 爱丽丝梦游仙境 的一段内容(以后内容中简称为 爱丽丝 的文档)

🔰声明：在学习以下内容时，先进行选择器的生成
selector = etree.HTML(html_doc)

💠 路径表达式

表达式	描述	实例	解析
/	从根节点选取	`/body/div[1]`	选取根结点下的body下的第一个div标签
//	从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置	`//a`	选取文档中所有的a标签
.