使用XPath来解析网页数据

阅读指导：
这篇文章详细讲解了XPath解析的方法。每个方法都配有相应的代码示例，读者可以通过本文更深入地了解XPath。由于文章篇幅较长，建议通过目录选择您感兴趣的部分进行学习。

1. XPath

       XPath（XML Path Language）是一种用于在 XML 文档中查找和选取节点的语言。它提供了一种通过路径表达式来导航 XML 文档的方法。

其优点在于：

• 强大的定位能力
• 灵活的路径表达式
• 高效的节点选择

1.1 节点的访问

1.1.1 节点的访问规则

表达式	描述
//	从当前节点，选取其子孙结点
/	从当前节点，选取其直接子节点
.	选取当前节点
..	选取当前节点的父节点
@	选取属性
nodename	选取此节点的所有子节点

1.1.2 访问所有节点

通过 // 方式来获取所有符合要求的结点
比如：
//* 选取所有节点
//li 选取所有 li 节点
//ul 选取所有 ul 节点
//a 选取多有 a 节点

获取到节点后，返回的是列表元素，每个元素都是ELement类型，可以通过索引的方式获取

示例HTML：

<!-- ./test.html文件 -->
<div>
    <ul>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html">third item</a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a>
     </ul>
 </div>

获取 li 元素下的 a 元素

from lxml import etree

html = etree.parse('./test.html', etree.HTMLParser())
result = html.xpath('//li')
print(result)
print(type(result))
print(result[0])

输出：

[<Element li at 0x1905f6f6640>, <Element li at