任选一小说网站，爬取任意一部小说，以记事本的形式保存。

最新推荐文章于 2024-01-20 14:31:26 发布

原创

最新推荐文章于 2024-01-20 14:31:26 发布 · 2.6k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#python #xpath

本文介绍了一种使用Python的requests库和lxml库抓取网络小说的方法，通过解析网页结构，获取小说章节链接和内容，并保存为本地文件。

1、任选一小说网站，爬取任意一部小说，以记事本的形式保存。

第一种情况(网址可能已失效)：

import requests
from lxml import etree
def get_url():
    url = 'http://www.yuetutu.com/cbook_24378/'
    r = requests.get(url)
    tree = etree.HTML(r.text)
    return tree

def get_book_url(tree):
    book_list= []
    dd_list = tree.xpath('//*[@id="list"]/dl/dd')
    i = 1
    for dd in dd_list:
        if i >= 9:
            url_book = dd.xpath('a')[0].attrib['href']
            title_book = dd.xpath('a')[0].text
            book_list.append((title_book<