【爬虫】XPath：最好用最便捷的爬虫方式的超详细介绍！！！（内含完整爬取指定网站指定小说代码）

本文链接：https://blog.youkuaiyun.com/2403_88733025/article/details/145391099

XPath解析：最常用最高效最便捷的解析方式

XPath是解析HTML和XML文件最常用且高效的方法之一。本文档将进一步说明XPath的解析原理和实现方式，并为初学者提供详细示例。

解析原理

通过实例化一个etree对象，将被解析的页面源码数据加载到该对象中，然后调用etree对象中的xpath方法，配合XPath表达式实现标签定位和内容捕获。

XPath的核心优势

高效性：支持快速定位和提取复杂结构中的目标数据。
灵活性：通过丰富的表达式语法，支持多种定位需求。
兼容性：适用于HTML和XML两种格式。

如何实例化一个`etree`对象

1. 将本地HTML文档的源码数据加载到`etree`对象中

from lxml import etree

# 加载本地HTML文件
filePath = "example.html"
tree = etree.parse(filePath)

2. 将互联网上的源码数据加载到该对象中

from lxml import etree

# 加载网页源码字符串
page_text = "<html>...</html>"
tree = etree.HTML(page_text)

XPath表达式基础

基本语法

'/'：单层级选择器，从根节点开始定位，进行选择。
'//'：多层级选择器，进行全层级搜索。

高级功能

节点选择：通过标签名或通配符*选择节点。
属性过滤：根据属性值精确定位目标节点。
索引选择：通过索引定位同级节点中的特定元素。

示例

# 单层级选择
r = tree.xpath('html/head/title/div')

# 多层级选择
r = tree.xpath('html/head//div')

# 通配符选择所有子节点
tags = tree.xpath('//div/*')

通过属性定位

格式

tag[@attrName="attrValue"]

实现多个标签属性定位

tag[@attrName="attrValue"]/tag[i]（索引下标从1开始）

示例

# 根据class属性定位
r = tree.xpath('//div[@class="song"]')

# 定位第一个匹配的子节点
target = tree.xpath('//div[@class="song"]/p[1]')

通过XPath获取数据内容

数据提取方法

获取文本内容：使用text()，返回列表。
获取属性值：使用@attrName，返回列表。

数据清洗与处理

通过strip()去除多余空格。
使用列表推导式进行批量处理。

示例

# 获取文本内容
text_list = tree.xpath('//div[@class="song"]/list[1]/a/text()')
cleaned_text = [text.strip() for text in text_list]

# 获取属性值
links = tree.xpath('//a[@class="link"]/@href')

常见问题与调试技巧

常见问题

节点未匹配到结果：检查XPath表达式是否正确。
返回空列表：确认数据源是否加载成功。
索引越界错误：确保索引值在范围内。

调试技巧

使用浏览器开发者工具定位目标节点。
逐步缩小XPath范围，验证每一步结果。
输出中间结果，检查数据是否符合预期。

实战体验

目标：爬取指定小说网站的部分指定的小说

import os
import requests
from lxml import etree

if __name__ == '__main__':
    if not os.path.exists('novel/'):
        os.mkdir('novel/')
    book_name = input('输入小说名称（全拼）')
    url = f'https://www.zhonghuadiancang.com/wenxueyishu/{book_name}/'
    
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/130.0.0.0 Safari/537.36 Edg/130.0.0.0'
    }
    novel_path = 'novel/' + book_name + '.txt'
    responese = requests.get(url=url,headers=headers)
    responese.encoding = 'utf-8'
    page_text = responese.text
    tree = etree.HTML(page_text)
    novel_list = tree.xpath('//ul[@class="list-group"]')[0].xpath('./li/a')
    with open(novel_path, 'w', encoding = 'utf-8') as fp:
        for i in novel_list:
            novel_title = i.xpath('./text()')[0]
            fp.write(novel_title + '\n')
            chapter = requests.get(i.xpath('./@href')[0], headers=headers)
            chapter.encoding = 'utf-8'
            chapter_data = etree.HTML(chapter.text)
            chapter_data_list = chapter_data.xpath('//div[@class="panel-body"]/p/text()')
            for j in chapter_data_list:
                fp.write(j + '\n')
            print(novel_title)
        print('爬取完毕')

代码效果描述：逐步爬取指定小说的章节，并在代码所在文件夹中生成一个novel文件夹，其中包含小说的txt文件

找到novel文件夹中的txt文件，效果如下：