XPath 自学教程

高建伟-joe

墨衍会员 · AI 创作全网分发码龄6年

关注

原创最新推荐文章于 2026-05-28 11:28:47 发布 423 阅读 AI 写同款· GEO 优化 ›

Python爬虫自学系列（二）今天我们来从获取到的网页数据中抓取我们想要的数据。（注：这一篇里面很多东西都已经是讲过的了，所以本篇基本上是链接了，也不会很长的）阅读详情

XPath 自学教程

前言

在学习之前应该具备的知识
- HTML/XHTML
- XML/XML Namespaces

XPath 简介

XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。

XPath 节点

XPath 术语

XPath中的术语：节点(Node)、基本值(原子值 Atommic value)、项目

节点：在XPath中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档节点(或称为根节点)。XML文档被作为节点树来对待。
基本值：是无父或无子的节点
项目：是基本值或节点

XMl例子：

<?xml version="1.0" encoding="ISO-8859-1"?>

<bookstore> <!-- 文档节点（或称根节点） -->

<book>
  <title lang="en">Harry Potter</title> <!-- 元素节点 --> <!-- lang="en" 属性节点 -->
  <author>J K. Rowling</author> <!-- J K. Rowling 基本值 -->
  <year>2005</year>
  <price>29.99</price>
</book>

</bookstore>

节点关系

父(Parent)、子(Children)、同胞(Sibling)、先辈(Ancestor)、后代(Descendant)

父：每个元素以及属性都有一个父。 在上面的例子中,book元素是tittle、author、year、price元素的父。
子：元素节点可有零个、一个或多个子。 在上面的例子中，title、author、year、price元素都是book元素的子。
同胞：拥有相同的父节点。 在上面的例子中，title、author、year、price元素都是同胞。
先辈：某节点的父、父的父，等等。 在上面的例子中，title元素的父是book元素和bookstore元素。
后代：某节点的子、子的子，等等。 在上面的例子中，bookstore的后代是book、title、author、year、price元素

XPath 语法

选取节点

XPath使用路径表达式在XML文档中选取节点。节点通过沿着路径(或步step)来选取
路径表达式：

表达式	描述	例子	结果
nodename	选取此节点的所有子节点。	bookstore	选取bookstore元素的所有子节点。
/	从根节点选取。	/bookstore	选取根元素bookstore。
/		bookstore/book	选取属于bookstore的子元素的所有book元素。
//	从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。	//book	选取所有book子元素，而不管它们在文档中的位置。
//		bookstore//book	选取bookstore元素的后代的所有book元素，而不管它们位于bookstore之下的什么位置。
.	选取当前节点。
…	选取当前节点的父节点。
@	选取属性。	//@lang	选取名为lang的所有属性。

谓语(Predicates)

谓语用来查找某个特定的节点或者包含某个指定值的节点。
谓语被嵌在方括号中。
带谓语的路径表达式：

路径表达式	结果
/bookstore/book[1]	选取属于bookstore子元素的第一个book元素。
/bookstore/book[last()]	选取属于bookstore子元素的最后一个book元素。
/bookstore/book[last()-1]	选取属于bookstore子元素的倒数第二个book元素。
/bookstore/book[position() < 3]	选取最前面的两个属于bookstore元素的子元素的book元素。
//title[@lang]	选取所有拥有名为lang的属性的title元素。
//title[@lang=‘eng’]	选取所有title元素，且这些元素拥有值为eng的lang属性。
/bookstore/book[price>35.00]	选取bookstore元素的所有book元素，且其中的price元素的值须大于35.00。
/bookstore/book[price>35.00]/title	选取bookstore元素中book元素的所有title元素，且其中的price元素的值须大于35.00。

选取未知节点

XPath通配符可用来选取未知的XML元素。
实例：

通配符	描述	实例	结果
*	匹配任何元素节点	/bookstore/*	选取bookstore元素的所有子元素。
@*	匹配任何属性节点	//*	选取文档中所有元素。
node()	匹配任何类型节点	//title[@*]	选取所有带有属性的title元素。

选取若干路径

通过在路径表达式中使用“|”运算符，可以选取若干个路径。
实例：

路径表达式	结果
//book/title \| //book/price	选取book元素的所有title和price元素。
//title \| //price	选取文档中所有的title和price元素。
/bookstore/book/title \| //price	选取属于bookstore元素的book元素的所有title元素，以及文档中所有的price元素。

XPath Axes(轴)

XPath 轴

轴可定义相对于当前节点的节点集

轴名称	结果
ancestor	选取当前节点的所有先辈(父、祖父等)。
ancestor-or-self	选取当前节点的所有先辈以及当前节点本身。
attribute	选取当前节点的所有属性。
child	选取当前节点的所有子元素。
descendant	选取当前节点的所有后代元素(子、孙等)。
descendant-or-self	选取当前节点的所有后代元素以及当前节点本身。
following	选取文档中当前节点的结束标签之后的所有节点。
namespace	选取当前节点的所有命名空间节点。
parent	选取当前节点的父节点。
preceding	选取文档中当前节点的开始标签之前的所有节点。
preceding-sibling	选取当前节点之前的所有同级节点。
self	选取当前节点。

位置表达式

位置路径可以是绝对的，也可以是相对的。

绝对路径起始于正斜杠(/)，而相对路径不会这样，在两种情况中，位置路径均包括一个或多个步，每一步均被斜杆分割：
绝对路径:

/step/step/...

相对路径:

step/step/...

每个步均根据当前节点集之中的节点来进行计算。
步(step)包括:
轴(axis):定义所选节点与当前节点之间的树关系
节点测试(node-test):识别某个轴内部的节点
零个或更多谓语(predicate):更深入的提炼所选的节点集

步的语法：

轴名称::节点测试[谓语]

实例：

例子	结果
child::book	选取所有属于当前节点的子元素的book节点。
attribute::lang	选取当前节点的lang属性。
child:: *	选取当前节点的所有子元素。
attribute:: *	选取当前节点的所有属性。
child::text()	选取当前节点的所有文本子节点。
child::node()	选取当前节点的所有子节点。
descendant::book	选取当前节点的所有book后代。
ancestor::book	选取当前节点的所有book先辈。
ancestor-or-self::book	选取当前节点的所有book先辈以及当前节点(如果此节点是book节点)。
child:: */child::price	选取当前节点的所有price孙节点。

XPath 运算符

XPath 表达式可以返回节点集、字符串、逻辑值以及数字。
运算符：

运算符	描述	实例	返回值
¦	计算两个节点集	//book ¦ //cd	返回所有拥有book和cd的节点集
+	加法	6+4	10
-	减法	6-4	2
*	乘法	6*4	24
div	除法	8div4	2
=	等于	price=9.80	如果price是9.80，则返回true。如果price不是9.80，则返回false。
!=	不等于	price!=9.80	如果price是9.90，则返回true。如果price是9.80，则返回false。
<	小于	price<9.80	如果price是9.00，则返回true。如果price是9.90，则返回false。
<=	小于或等于	如果price<=9.80	如果price是9.00，则返回true。如果price是9.90，则返回false。
>	大于	price>9.80	如果price是9.90，则返回true，如果price是9.80，则返回false。
>=	大于或等于	price>=9.80	如果price是9.90，则返回true。如果price是9.70，则返回false。
or	或	price=9.80 or price=9.70	如果price是9.80，则返回true。如果price是9.50，则返回false。
and	与	price>9.00 and price<9.90	如果price是9.80，则返回true。如果price是8.50，则返回false。
mod	计算除法的余数	5mod2	1

XPath 实例

在本节，让我们通过实例来学习一些基础的 XPath 语法。

<?xml version="1.0" encoding="ISO-8859-1"?>

<bookstore>

<book category="COOKING">
  <title lang="en">Everyday Italian</title>
  <author>Giada De Laurentiis</author>
  <year>2005</year>
  <price>30.00</price>
</book>

<book category="CHILDREN">
  <title lang="en">Harry Potter</title>
  <author>J K. Rowling</author>
  <year>2005</year>
  <price>29.99</price>
</book>

<book category="WEB">
  <title lang="en">XQuery Kick Start</title>
  <author>James McGovern</author>
  <author>Per Bothner</author>
  <author>Kurt Cagle</author>
  <author>James Linn</author>
  <author>Vaidyanathan Nagarajan</author>
  <year>2003</year>
  <price>49.99</price>
</book>

<book category="WEB">
  <title lang="en">Learning XML</title>
  <author>Erik T. Ray</author>
  <year>2003</year>
  <price>39.95</price>
</book>

</bookstore>

<html>
<body>
<script type="text/javascript">
function loadXMLDoc(dname)
{
if (window.XMLHttpRequest)
  {
  xhttp=new XMLHttpRequest();
  }
else
  {
  xhttp=new ActiveXObject("Microsoft.XMLHTTP");
  }
xhttp.open("GET",dname,false);
xhttp.send("");
return xhttp.responseXML;
}

xml=loadXMLDoc("/example/xmle/books.xml");
path="/bookstore/book/title"
// code for IE
if (window.ActiveXObject)
{
var nodes=xml.selectNodes(path);

for (i=0;i<nodes.length;i++)
  {
  document.write(nodes[i].childNodes[0].nodeValue);
  document.write("<br />");
  }
}
// code for Mozilla, Firefox, Opera, etc.
else if (document.implementation && document.implementation.createDocument)
{
var nodes=xml.evaluate(path, xml, null, XPathResult.ANY_TYPE, null);
var result=nodes.iterateNext();

while (result)
  {
  document.write(result.childNodes[0].nodeValue);
  document.write("<br />");
  result=nodes.iterateNext();
  }
}
</script>
</body>
</html>