爬起点免费小说

最新推荐文章于 2024-04-15 13:29:49 发布

小熊提伯斯

最新推荐文章于 2024-04-15 13:29:49 发布

阅读量1.4k

点赞数

CC 4.0 BY-SA版权

分类专栏： Python学习文章标签： python

本文链接：https://blog.youkuaiyun.com/qq_30500113/article/details/83752015

本文介绍如何使用Python爬虫从起点中文网抓取免费小说内容。通过确定请求链接，获取所有章节链接，逐章请求内容，并将内容保存至TXT文件，详细讲解爬取思路与代码实现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

爬取起点中文网免费小说

小说链接:https://book.qidian.com/info/1012136018 在这里插入图片描述

起点中文网是我很喜欢的一个网站，那么学完Python爬虫后我们来试着爬取一本起点的小说吧
面向纯小白的代码

环境:python3.6 ,解析使用pyquery
爬一本小说有个思路，有了这个思路, 你可以爬任意一本想看的小说，所以说代码不是关键，思路才是最重要的

思路如下:

确定请求的链接：https://book.qidian.com/info/1012136018
获取全部章节的链接
请求每一章的链接，获取小说内容
将要保存的内容写入文件

ok 且看代码注释：

#!/usr/bin/env python 
# -*- coding: utf-8 -*-
# @Time    : 2018/11/5 15:42
# @Desc    : 爬起点小说
import requests
from pyquery import PyQuery as pq


# 这里我使用了代理 你可以去掉这个代理IP 不要一股脑复制代码
headers = {
    'proxy': 'https: 219.