Python每日一练(18)-抓取小说目录和全文

最新推荐文章于 2024-04-12 13:59:14 发布
最新推荐文章于 2024-04-12 13:59:14 发布
阅读量2.3k 收藏 17
点赞数 20
分类专栏： Python3入门与进阶 文章标签： python 正则表达式 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xw1680/article/details/106025946
版权
本文介绍了如何使用Python和正则表达式抓取斗破小说网上的小说目录及内容。首先，通过requests库获取目录页面源代码，然后利用正则表达式提取目录标题和对应的URL。接着，遍历每个章节，下载内容并存储为纯文本，以章节标题作为文件名。最后展示了程序执行结果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文要实现的案例是通过 requests 库抓取 斗破小说网 上指定的小说的目录和每一节的完整内容(只保留纯文本内容)。当抓取包含目录和小说内容的页面后，会通过正则表达式分析 HTML 代码，并提取出目录标题，对应的 url 以及文本形式的小说内容。现在进入斗破小说网，选择一篇小说，本文选择了 斗破苍穹 目录页面如下图所示：
在这里插入图片描述
真是岁月催人老呀，怀念当年偷偷捂着被子，逃课看这本小说的年纪。这部小说的目录很多，我只截图了一部分，第一个任务要完成下载这个目录页面的代码，并从中提取出小说的目录以及对应的 URL 。在网页中按 F12 或者是 检查 调出控制台调试界面，如下图所示：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Python每日一练(21)-抓取异步数据
Amo Xiang的博客
09-17 2663
目录1. 异步加载与AJAX2. 基本原理2.1 发送请求2.2 解析响应2.3 渲染页面2.4 Flask框架模拟实现异步加载页面3. 逆向工程4. 项目实战：爬取国家药品监督管理总局中基于中华人民共和国化妆品生产许可证相关数据 在 Python每日一练(15)-爬取网页中动态加载的数据 一文中笔者已经讲过如何爬取动态加载的数据，本文在对其进行详细的讲解。在我们平时浏览网页的过程中，可以发现有很多网站显示在页面上的数据并不是一次性从服务端获取的，有一些网站，如图像搜索网站，当滚动条向下拉时，会随着滚动条向
python代码案例详解-Python代码样例列表
weixin_37988176的博客
11-01 4909
扫描左上角二维码，关注公众账号 数字货币量化投资，回复“Python例子”，获取以下600个Python经典例子源码├─algorithm│ Python用户推荐系统曼哈顿算法实现.py│ NFA引擎,Python正则测试工具应用示例.py│ Python datetime计时程序的实现方法.py│ python du熊学斐波那契实现.py│ p...
使用python爬取小说
热门推荐
FengF2017的博客
02-09 1万+
使用python爬虫爬取小说 喜欢看网络小说的朋友们，经常需要从网上下载小说。有些人不想向正版网页交钱，也不想注册其他网站的账号，那么对于某些比较冷门的小说或者是正在更新的小说来说，就很难下载到txt或者其他格式的小说。我就是不想花太多时间找冷门小说的下载资源，因此稍微学习了python的爬虫知识。 新建scrapy爬虫项目 scrapy是python的爬虫框架。使用以下语句安装scra...
用python抓取小说，以龙王传说为例
weixin_45846561的博客
08-10 573
1. 目标网站：89文学网（https://www.89wxw.com） 2. python环境：IDLE #基本思路：采用requests库和BeautifulSoup库爬取龙王传说小说 import requests from bs4 import BeautifulSoup def get_novel_chapters():#获得标签名称及链接 data_1 = [] root_url = 'https://www.89wxw.com/read/3440/'
python爬小说目录_【python入门爬虫】爬取笔趣阁小说
weixin_39678089的博客
12-10 479
[Python] 纯文本查看 复制代码import timefrom bs4 import BeautifulSoupimport requestsimport urllib.parse#模拟小说搜索def search(url):print("访问："+url)#请求页面response = requests.get(url)#获取真实地址url = response.url#防止中文乱码，参考...
python抓小说阅读
mygod博客
01-23 672
import requests from bs4 import BeautifulSoup #获取目录 bookMuluUrl = "http://www.janpn.com/book/wushentianxia.html" bookMulu = requests.get(bookMuluUrl) muluContent = BeautifulSoup(bookMulu.text,"html....
python之小说爬取
最新发布
lyy2017175913的博客
04-12 1490
闲话略过，直接开始正题。今天，记录蛋挞学习爬取小说鬼吹灯的全过程。首先，百度搜索“鬼吹灯”。点开网页，记录一下网址，后面需要使用。之后，点开上图中的“鬼吹灯”，查看所有章节。接下来，小雷将把这些标题和内容全部爬取下来。鼠标右键，选择“网页源代码”，我们所需要的章节链接全部存在源代码中。鼠标右键，点击“检查”，弹出如下页面。点击下图红色圈出的图标，再点击章节名，可以找到章节对应的文本链接。在章节链接处点击鼠标右键，选择"复制"，然后选择“xpath”，可以获取章节链接在网页源代码中的位置。
python爬取小说实例（仅供参考）
07-30
python爬虫实例，内含代理ip池实例，比较适合初学爬虫者。需要用到多线程和一些基本的第三方模块，仅供参考
python抓取整本小说
qq_38143876的博客
06-16 287
比比芭比波比 大家好，我是预备秃顶族 今天和大家分享一个python抓取小说代码（超级简单） 下面就上正题 import requests import parsel # 浏览器的用户代理（查看方法:浏览器地址栏输入about:version） headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
python 爬虫，抓取小说
至尊玉的个人笔记
03-05 657
# -*- coding: utf-8 -*- from bs4 import BeautifulSoup from urllib import request import re import os,time #访问url，返回html页面 def get_html(url): req = request.Request(url) req.add_header('User-Ag...
Python抓取小说
yinzuo338的专栏
05-14 357
Python抓取小说 前言 此脚本为了在MAC上抓取小说而写，用Python几句代码就可以了。 代码 [python] view plaincopy # coding=utf-8      import re   import urllib2   import chardet  
使用python抓取小说
wdt3385的专栏
09-30 1690
# coding: utf-8 import bs4 from bs4 import BeautifulSoup import urllib2 import codecs import time import json import sys def novelFilter(content): content=content.replace('\n','') content=conten
Python爬虫抓取小说内容——20180314
qq_40491305的博客
03-14 898
首先，在这个日子，让我为科学巨星——霍金哀悼！一路走好！该文章主要为我个人对Jack Gui的小说爬虫代码的理解，侵删。原作者网址：http://cuijiahua.com/blog/2017/10/spider_tutorial_1.html# WARNING：以下所有注释均为个人理解，仅供参考！不具有权威性！ # -*- coding: UTF-8 -*- from bs4 import Be...
Python小说爬虫，有目录，有文字极简处理，还有IP解锁方式！
爬遍所有网站
08-04 767
至于我为什么发这么火，原因如下： 朋友的小说全部放在文件夹中，就是一章一个text文本， 没有目录的存在，而且目录章节混乱，我大致看了下，第五章就跳到第七章了， 中间的不知道怎么没了。 打开小说一看， 密密麻麻挤着一起，没有一点段落感，而且还有一些html代码，没有处理干净，最重要的，居然还有一大批网址在里面，简直就是不走心 第三，爬取的小说根本就不能算一整本，我看了一下文件数量，足足少了二十多章，我评价到看个鬼，你自己看看能不能行 ！ 朋友看完，自己也很无语，至于他为什么会出现这种情况，我想很多爬
python 爬虫抓小说
12-15 1190
#coding = utf-8 from BeautifulSoup import BeautifulSoup import urllib2 import sys import traceback default_encoding = 'utf-8' if sys.getdefaultencoding() != default_encoding: reload(sys) sys.setde
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Amo Xiang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值