Python3 网络爬虫爬取小说并写入本地txt文件

最新推荐文章于 2025-03-02 16:43:24 发布

ZYD@LHQ

最新推荐文章于 2025-03-02 16:43:24 发布

阅读量5.2k

点赞数 2

分类专栏： Python

本文链接：https://blog.youkuaiyun.com/weixin_41271101/article/details/90901150

版权

本文介绍了如何使用Python3进行网络爬虫，从倚天屠龙记的小说网址抓取内容，并将数据保存到本地的txt文件中，详细展示了实现代码和流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

倚天屠龙记小说网址：https://www.2biqukan.com/fiction/zsczu.html
实现代码：

from urllib import request
from bs4 import BeautifulSoup
import time
import socket

def download_specified_chapter(chapter_url, header, coding, chapter_name=None):
    #先生成一个request对象,传入url和headers
    download_req = request.Request(chapter_url,headers=header)
    #通过指定urlopen打开request对象中的url网址,并获得对应内容
    response = request.urlopen(download_req)
    #获取页面的html
    download_html = response.read().decode(coding, 'ignore')
    #request.close()#记得要关闭
    #获取html的bs
    origin_soup = BeautifulSoup(download_html, 'lxml')
    #获取小说正文部分
    content=origin_soup.find(id='novel-content', class_='font-size-middle')

    #整理小说格式,将\xa0替换成回车
    # html中的&nbsp,在转换成文档后,变成\xa0
    txt=content.text.replace('\xa0'*8,'\n')
    # 将获得的正文 写入txt
    print("正在下载 {} 链接:{}".format(chapter_name,chapter_ur