XPath
常用规则
- nodename 选取此节点的所有子节点
- / 选取当前节点的直接子节点
- // 选取当前节点的子孙节点
- . 选取当前节点
- . . 选取当前节点的父节点
- @ 选取属性
test.html
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>Title</title>
</head>
<body>
<div>
<ul>
<li class="li item-0" name="chenjiahe"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
</body>
</html>
test.py
from lxml import etree
html = etree.parse('test.html', etree.HTMLParser())
result = html.xpath('//*') # 获取所有的节点
result = html.xpath('//li') # 获取所有li节点
result = html.xpath('//li/a') # 获取所有li节点的直接子节点a
result = html.xpath('//ul/li/a') # 获取所有ul节点下的直接子节点li下的直接子节点a
result = html.xpath('//a[@href="link1.html"]/../@class') # 获取属性为link1.html的节点a的父节点的class属性
result = html.xpath('//li[@class="item-inactive"]') # 获取class属性为item-inactive的li节点
result = html.xpath('//li[@class="item-inactive"]/a/text()') # 获取class属性为item-inacitve的li节点下的直接子节点a的文本
result = html.xpath('//li/a/@href') # 获取所有li节点下的直接子节点a的href属性
result = html.xpath('//li[contains(@class, "li")]/a/text()') # contains()属性多值匹配
result = html.xpath('//li[@class="li item-0" and @name="chenjiahe"]/a/text()') # 多属性匹配
result = html.xpath('//li[1]/a/text()') # 加上索引,按序选择
# 节点轴选择
result = html.xpath('//li[1]/ancestor::*') # ancestor可以获取所有的祖先节点,*是可变的,可以选择为你想要获取的祖先节点。
result = html.xpath('//li[1]/attribute::*') # attribute可以获取所有的属性值
result = html.xpath('//li[1]/child::a[@href="link1.html"]') # child可以获取所有直接子节点,::后加的是限定条件
result = html.xpath('//li[1]/descendant::span') # descendant可以获取所有子孙节点
result = html.xpath('//li[1]/following::*[2]') # 获取当前节点之后的所有节点
result = html.xpath('//li[1]/following-sibling::*') # 获取当前节点之后的所有同级节点