lxml与xpath_02-优快云博客

本文链接：https://blog.youkuaiyun.com/m0_60255954/article/details/127723173

本文介绍如何使用Python的lxml库来解析和操作HTML文件。通过示例代码展示了如何读取HTML文档、获取节点属性和文本内容，以及使用XPath进行节点定位。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

操作html与xml类似

不同点:xml只有节点,html有节点并且有任何文本

准备一个html文件

<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8">
    <title>这是一个网页</title>
</head>
<body>
</body>
</html>

读取并且分析html文件代码

from lxml import etree
# 创建lxml.etree.HTMLParser对象
parser=etree.HTMLParser()
print(type(parser))
# 读取并解析test.html文件
tree=etree.parse('test.html',parser)
# 获得根节点
root=tree.getroot()
# 将html文档转换为可读格式
result=etree.tostring(root,encoding='utf-8',pretty_print=True,method='html')
print(str(result,'utf-8'))
# 输出根节点的名称
print(root.tag)
# 输出根节点的lang属性的值
print('lang=',root.get('lang'))
# 输出meta节点的charset属性的值
print('charset=',root[0][0].get('charset'))
# 输出title节点的文本
print('title=',root[0][1].text)

运行结果：

---------------------------------------------------------------------------------------------------------------------------------

使用xpath提取test.html文件中的标题

from lxml import etree
parser=etree.HTMLParser()
tree=etree.parse('test.html',parser)
# 使用xpath定位title节点,返回节点集合
titles=tree.xpath('/html/head/title')
if len(titles)>0:
    print(titles[0].text)

定义一段html,提取特定<a>节点中得href属性值和节点文本

html='''
<div>
    <ul>
        <li class="item1"<a href="https://geekori.com">geekori.com</a></li>
        <li class="item2"<a href="https://jd.com">京东商城</a></li>
        <li class="item3"<a href="https://taobao.com">淘宝</a></li>
    </ul>
</div>
'''
# 分析HTML代码
tree=etree.HTML(html)
# 使用xpath定位class属性值为item2的<li>节点
aTags=tree.xpath("//li[@class='item2']")
if len(aTags)>0:
    # 得到该<li>节点中<a>节点的href属性值和文本
    print(aTags[0].get('href'),aTags[0].text)