python爬虫（爬取一部完整小说）

最新推荐文章于 2025-06-11 16:04:45 发布

funny_fly

最新推荐文章于 2025-06-11 16:04:45 发布

阅读量6.7k

点赞数 3

CC 4.0 BY-SA版权

分类专栏： python学习文章标签： python 爬虫网络小说下载遮天笔趣阁

本文链接：https://blog.youkuaiyun.com/funny_fly/article/details/82963689

本文介绍了如何使用Python爬虫技术从笔趣阁网站上抓取并下载《遮天》这部网络小说的全部章节，详细阐述了爬虫的实现过程，包括网页解析、数据提取、文件保存等关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

用python编写一个简单的爬虫，爬取笔趣阁小说《遮天》。仅供学习，请勿用于商业用途！

#-*-coding:utf-8-*-
import requests
from bs4 import BeautifulSoup
import random

def find_content(f, url):
    res = requests.get(url)
    res.encoding = 'GB18030'
    soup = BeautifulSoup(res.text.replace('&nbsp;', ' '), 'html.parser')
    title = soup.select('.bookname h1')[0].text
    print(title)
    tt = soup.select('#content')[0].text
    f.write(title + '\n\n' + tt + '\n\n')

if __name__ == "__main__":

    url = 'http://www.biquge.com.tw/2_2016/'  # 小说目录页的网址
    url1 = 'http://www.biquge.com.tw/'
    headers = {'Host': 'www.biquge.com.tw',
               'Connection': 'keep-alive',
               'Cache-Control': 'max-age=0',
               'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'}

    IPs = [
        {'HTTPS': 'https://115.237.16.200:8118'},
        {'HTTPS': 'https://42.49.119.10:8118'},
        {'HTTPS':