爬虫实战：从网页到本地，爬取小说离线阅读

今天我们将继续进行爬虫实战，除了常规的网页数据抓取外，我们还将引入一个全新的下载功能。具体而言，我们的主要任务是爬取小说内容，并实现将其下载到本地的操作，以便后续能够进行离线阅读。

爬取小说代码可直接在下方领取：

为了确保即使在功能逐渐增多的情况下也不至于使初学者感到困惑，我特意为你绘制了一张功能架构图，具体如下所示：

让我们开始深入解析今天的主角：小说网

小说解析

书单获取

在小说网的推荐列表中，我们可以选择解析其中的某一个推荐内容，而无需完全还原整个网站页面的显示效果，从而更加高效地获取我们需要的信息。

以下是一个示例代码，帮助你更好地理解：

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36 Edg/122.0.0.0'}
req = Request("https://www.readnovel.com/",headers=headers)
# 发出请求，获取html
# 获取的html内容是字节，将其转化为字符串
html = urlopen(req)
html_text = bytes.decode(html.read())
soup = bf(html_text,'html.parser')

for li in soup.select('#new-book-list li'):
    a_tag = li.select_one('a[data-eid="qd_F24"]')
    p_tag = li.select_one('p')
    book = {
        'href': a_tag['href'],
        'title': a_tag.get('title'),
        'content': p_tag.get_text()
    }
    print(book)

书籍简介

在通常情况下，我们会先查看书单，然后对书籍的大致内容进行了解，因此直接解析相关内容即可。以下是一个示例代码：

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36 Edg/122.0.0.0'}
req = Request(f"https://www.readnovel.com{link}#Catalog",headers=headers)
# 发出请求，获取html
# 获取的html内容是字节，将其转化为字符串
html = urlopen(req)
html_text = bytes.decode(html.read())
soup = bf(html_text,'html.parser')
og_title = soup.find('meta', property='og:title')['content']
og_description = soup.find('meta', property='og:description')['content']
og_novel_a