xpath爬取笔趣阁小说

最新推荐文章于 2024-10-03 19:13:18 发布

weixin_45115418

最新推荐文章于 2024-10-03 19:13:18 发布

阅读量861

点赞数 1

分类专栏：爬虫 xpath 文章标签： python xpath html 爬虫

本文链接：https://blog.youkuaiyun.com/weixin_45115418/article/details/109273212

版权

本文介绍如何利用Python的xpath解析HTML，从笔趣阁网站上爬取小说。尽管目前的实现能成功下载大部分章节，但存在个别章节下载失败的问题。由于尚未解决的多线程下载问题，爬取整本小说会耗费较长时间，目前代码限制为仅爬取10章。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

from lxml import etree
from fake_useragent import UserAgent
import requests
import os
# import re  # 重新下载功能有bug，该模块也不用导入了


def main():
    """主程序"""
    global story_url, story_name, title, url, title_name, url, failed_list  # 定义全局变量
    story_url = input('请输入小说连接：')  # 等待屏幕输入小说连接
    story_name = get_url(story_url).xpath('//div/h1/text()')  # 定位小说名称
    title = get_url(story_url).xpath('//dd//a[@href]/text()')  # 定位所有章节名
    url = get_url(story_url).xpath('//dl//dd//@href')  # 定位所有章节连接
    make_file_path(story_name[0])  # 以小说名创建文件夹
    save()  # 调用save（）函数
    print('下载完毕')
    print('------------------------------'