python写的整本书的小说爬虫（并写入txt文件）

最新推荐文章于 2025-07-02 16:49:11 发布

原创

最新推荐文章于 2025-07-02 16:49:11 发布 · 4.7k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫

本文介绍了如何使用Python编写一个爬虫，从“去看看小说网”抓取“剑来”全本内容，并将数据保存到TXT文件中。提供的代码可供读者参考，以便根据需要修改以适应其他小说网站的爬取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

终于将一本书的小说爬虫完善了。在这里我爬取的是“去看看小说网”中的“剑来”一书。

代码中关于爬取内容的地方，读者可参考，然后按照自己想要爬取的网页进行修改。

（以下代码为完整代码，已测试）

#-*- coding=utf-8 -*-

import urllib2
import urlparse
import Queue
import time
from bs4 import BeautifulSoup

# s1 = '大家好啊'
# open('hello.txt','w').write(s1)
  
# 得到小说内容
def link_crawler(seed_url):
    firstTitle = BeautifulSoup(download(seed_url)).title.text.split('(')[0]     # 拿到小说名字
    filename = firstTitle+'.txt'
    file = open(filename,'w+')      # 创建以小说名为名的txt文件，并将文件设置为追加模式
    file.write(firstTitle+'\n\n')
#     print firstTitle
    crawler_queue = Queue.deque([seed_url])     # 将链接存到crawler_queue列表中，并且按照降序存放
    seen = set(crawler_queue)       # 将访问过的链接存放在seen中
    while crawler_queue:
        url = crawler_queue.pop()   # 提取第一个链接
        html = download(url)
#         soup = BeautifulSoup(html)
        soup = BeautifulSoup(html).find_all('dd',{'class':'col-md-3'})
#         print soup
        for link in soup: