scrapy爬取漫画

最新推荐文章于 2025-07-08 22:32:29 发布
最新推荐文章于 2025-07-08 22:32:29 发布
阅读量2.8k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： Python 爬虫 scrapy 图片爬取 设置代理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_41332002/article/details/94331274
本文介绍了一个使用scrapy爬取名为《一人之下》漫画的项目，包括设置代理IP，处理异步加载的JSON数据源，通过meta传递章节序号，自定义Pipeline以及如何在大型项目中实现暂停与唤醒爬虫的功能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

项目提要

主要知识点

  • scrapy中设置代理IP
  • scrapy架构中从一个组件向另一组件传递特定信息，譬如本文所说的目录名
  • settings文件需要处理的事项
  • 大型项目的暂停与唤醒

爬虫目标
网上有一部漫画挺好看，手机浏览总是需要刷新浏览器——不友好啊，干脆我们把它爬取并存储到本地，即使以后收费了我们照样看。这部漫画叫《一人之下》
使用框架
scrapy

工作流程

  • 分析网页

在这里插入图片描述
我们可以看见从章节目录页爬取章节URL很容易，有点难度的是从具体章节爬取相应的图片
在这里插入图片描述
这里我们仔细看一下，页面是随着我们滚动鼠标而异步加载的，另外这里面有iframe——真是个糟糕的组合。
我们有两个解决方案：一是使用selenium来实现异步加载与虚拟鼠标滚动，听着就头大;二是找找json数据源。
在这里插入图片描述
可以发现随着鼠标滚动XHR列不断有新的异步会话出现，点一下——有JSON数据，OK了

  • 确定Item
最低0.47元/天 解锁文章

200万优质内容无限畅学
用python爬取漫画！
weixin_49669074的博客
05-25 5874
Hi~ 大家好！ 今日教大家用Python爬取某网站的全部漫画，让你想看什么漫画就看什么漫画！本文代码量有的多，请耐心看完！如果不想看分析网页，可拉取到爬取思路和实现代码区域，查看基本思路和代码！经过作者测试，测试过的漫画都可以下载！本文图片以及文本仅供学习、交流使用，要想获得更好的体验，请支持正版！ 本文完整代码见文末！ 分析网页 受害者： https://www.kanman.com/sort/ 漫画其实是一张一张图片来着，所以我们先找到这些图片的链接在哪里！因为本文是为了实现想看什么漫画就爬取什么漫
nodejs爬取漫画
nzyalj的博客
04-12 1815
第三次nodejs爬虫！
Scrapy实战-爬取豆瓣漫画
weixin_33845477的博客
06-07 243
背景知识 （一）什么是Scrapy呢？Python上优秀的爬虫框架。什么是爬虫？可以看我的心得感悟，也可以自行谷歌百度。 （二）建议看下初识Scrapy的事前准备安装Scrapy。 （三）Selectors根据XPath和CSS表达式从网页中选择数据。XPath和CSS表达式是什么东西，我们不用太过于纠结，只...
关于 scrapy框架 详解
最新发布
Triste__chengxi的博客
07-08 1622
Scrapy 的数据提取不是直接用字典，而是专门定义一个。
Python爬虫：用Scrapy框架爬取漫画（附源码）
wulishinian的博客
05-21 2154
scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。关于框架使用的更多详情可浏览官方文档，本篇文章展示的是爬取漫画图片的大体实现过程。 Scrapy环境配置 首先是 scrapy 的安装，博主用的是Mac系统，直接运行命令行： pip install Scrapy对于html节点信息的提取使用了 Beautiful Soup 库，大概的用法可见之前的一篇文章，直接通过命令安装： pip install beautifulsoup4对于目标网页的 Beautiful Soup 对象初始化需要
初识scrapy-利用scrapy爬漫画
zyf的博客
11-24 1434
一、前言 隔了许久终于再次开始更新，此次是由于开始学习scrapy，想用着来爬漫画，跟着别人的博客学习了一下，中途也遇到了许多坑，因此记录一下 参考：主参考博客、scrapy demo、scrapy1.0文档 说明：原博客写于2年前，我跟着走的时候遇到了一些坑，会尽可能地记录，并对原博客没涉及到的东西进行说明 目标漫画：kuku动漫-转生史莱姆日记 我们知道，有时候一些小的动漫网站充满广告，而...
scrapy——爬取漫画自定义存储路径下载到本地
水月洞天
06-01 2505
@scrapy-——爬取漫画自定义存储路径下载到本地OC 1.新建项目以及主爬虫文件 scrapy startproject comic cd comic scrapy genspider Comic manhua.sfacg.com 注意以上命令是在cmd界面操作的 2.在项目下新建main.py文件，编写代码如下： from scrapy import cmdline cmdline.exe...
python爬取漫画
weixin_45826090的博客
11-19 1534
python爬取漫画“正后方的神威” 在QQ看点上看到的一部漫画，正好最近对爬虫比较感兴趣，还没处理过图片的下载，所以想试一下。废话不多说，直接上源码： import os,base64 import requests import re from PIL import Image from io import BytesIO # 第一话漫画地址 url = "https://rimanb.com/chapter/54717" # 图片编号 i=1 # 得到网页源码 req = req
Python爬虫：用Scrapy框架爬取漫画
python233的博客
04-27 2909
本篇文章，通过 scrapy 框架来实现相同的功能。scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。关于框架使用的更多详情可浏览官方文档，本篇文章展示的是爬取漫画图片的大体实现过程。 scrapy环境配置 安装 首先是 scrapy 的安装，博主用的是Mac系统，直接运行命令行： pip install Scrapy 对于html节点信息的提取使用了
Scrapy爬取博人传漫画
weixin_42418452的博客
05-07 649
Scrapy框架 为什么要学习scrapy？ 理由：日常的Requests + Selenium虽然可以爬取网站内容，一旦遇到下载文件/图片，下载速度慢的鸡肋很快就暴露出来，有人说可以自己写高并发处理，再加上各种处理规则，如此一来，代码维护难度只增未减，另不排除遇到进程/线程堵塞，作为成熟的scrapy库，具备异步网络库、稳定性高、非堵塞。 框架图 简单解析Scrapy框架流程 1.运行项目spiders执行到yield将request发送给engine，再到scheduler入队、排序处理 2.sc
Python爬取漫画（详细教程）
Python_trys的博客
08-08 1363
最后这里给大家免费分享一份Python学习资料，包含了视频、源码、课件，希望能够帮助到那些不满现状，想提示自己却又没用方向的朋友，也可以和我一起来交流呀！(3)、找到加载网页的源码文件，点击Headers，如下图： Status Code表示网页返回的代码，值为200时表示访问成功。(5)、将html代码存入 data 中，xpath定位每一章链接。(2)、按F12打开此网页的源码（谷歌浏览器），选中上方NetWork，Ctrl+R刷新。编辑资料、学习路线图、源代码、软件安装包等！
简单的小爬虫-漫画爬取
独钓寒江雪
05-31 3080
  好久没写代码了，快毕业了天天闲着玩游戏刷视频，最近刷七原罪这部动漫的时候，感觉动漫更新太慢，就去追漫画，于是为了方便观看避免广告的干扰，就写了个小爬虫，顺便练习练习python…   由于对多线程还是理解不深，本来想用多线程进行下载的，但是在几番尝试下还是没有出现想想中的下载顺序，依旧是从起点开始下载，于是就改回来了..这个后面再尝试一下。   由于目前七原罪漫画资源好像风之动漫可以看到，...
python 爬虫爬取某网站的漫画
倔强的贝吉塔
12-09 4117
文章目录声明前言思路流程程序结果 声明 为了表示对网站的尊重，已将网站地址隐藏，下载的漫画之前我就看过了，所以也会删掉，绝不侵犯网站的利益。 前言 第一次写爬虫，断断续续写了两天吧，中间有两次都不想写了，主要是网站的url地址比较乱，换了好几种格式不说，还需要自己构造，不过后来还是写下来了，最大的感悟就是正则真有用，也是在这个实践中，学会了一点正则，看来还是应该多动手写写。不过由于中间两次想弃写，...
用Scrapy爬动画列表
El Psy Congroo
10-01 847
技术宅是如何补番的
爬取漫画网站漫画（爬虫学习）
weixin_45543950的博客
06-14 4054
共实现两个网站，漫画栈处于完成品状态，最近没空做了，写个博客记录一下。 第一步，导入库： import json import os from time import sleep import requests from lxml import etree import re from RandomUAMiddleware import RandomUAMiddleware from imgWebInfo import lenON, imgWebInfo 同样的，din ...
从头学习爬虫（三十四）实战篇----动漫之家漫画（Scrapy实战）
qq_36783371的博客
05-11 5013
本文主要由于改造Scrapy下载中间件拖了比较久，安装模块自行解决。一 创建项目创建项目：CMD进入你需要放置项目的目录 输入：scrapy startproject XXXXX             XXXXX代表你项目的名字二 导入IDE由于IDE不一样这边自行解决结构如上三 IDE配置可以直接运行ScrapyScrapy默认是不能在IDE中调试的，我们在根目录中新建一个py文件叫：ent...
用python爬取漫画，代入感太强了
a55656aq的博客
12-24 4493
导语： 哈喽，哈喽~当有人给你安利了一部超级好看的漫画时。 你点进去看了一下，这画风，这剧情，代入感太强我现在宣布我就是女主了。 但是看着看着，要vip你又没有，这是什么人间疾苦啊！我的女主光环呢？ 正文： 下面小编使用python爬取漫画，此次代码以一个小型的网站来作为练手，其他的和该思路差不多大致相同，仅供参考。 https://m.gufengmh8.com/ 打开这个网址后，让我们点击搜索进行相关的漫画搜索。截图为搜索页面，可以看到网址为： https:/..
python网络爬虫最细致讲解之漫画抓取【细！！！】
热门推荐
风花雪月，品霖千年之情
02-15 3万+
漫画抓取：python网络爬虫与html对应结合抓取讲解 文章目录漫画抓取：python网络爬虫与html对应结合抓取讲解前言一、实现目的二、开始旅程1.明确思路2.下载网页3.寻找下载漫画4.完整代码附上5.运行结果附上三、总结 前言 本次以漫画抓取为例，来一步一步结合浏览器后台与爬虫编程讲解，也可以延伸到应对其他不同的网页抓取 一、实现目的 首先说明一下本次抓取的网站：XKCD， 是一个流行的极客漫画网站。 首页url：http://xkcd.com/ 但是其中的重点在于：它有一个“Prev
Python爬虫-漫画柜漫画爬取
Father_of_Python的博客
11-27 1818
代码仅供学习 from selenium import webdriver from lxml import etree import time import random import requests import os def download_pic(urls,name): i = 1 os.mkdir(fr'C:\Users\msi\Desktop\爬取图片\{name}') #修改储存地址 for url in urls: headers = {'R
Python爬取漫画
09-07
Python爬虫可以用于抓取网络上的漫画资源，通常通过一些库如`requests`、`BeautifulSoup`、`Scrapy`等工具来实现。以下是一个简单的步骤说明： 1. **安装所需库**： - `requests`：发送HTTP请求的基础库。 - `beautifulsoup4`或`lxml`：解析HTML内容的库。 - 可选：`re`（正则表达式）、`selenium`（模拟浏览器）等。 2. **目标网站分析**： 确定你想抓取的漫画网站的结构，找到包含漫画图片或链接的元素。通常，这可能是CSS选择器或XPath路径。 3. **编写爬虫脚本**： ```python import requests from bs4 import BeautifulSoup def fetch_manga(url): response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') manga_images = soup.select('img[src*="comics/image"]') # 替换为你找到的实际选择器 for img in manga_images: image_url = img['src'] save_image(image_url) # 自定义保存函数，下载并存储图像 def save_image(img_url): with open('manga_page_' + str(uuid.uuid4()) + '.jpg', 'wb') as f: f.write(requests.get(img_url).content) # 调用函数开始爬取 fetch_manga('http://example.com/manga-page') # 把这里替换为实际漫画页面URL ``` 4. **处理分页和动态加载**： 如果漫画有分页，你可能需要遍历所有页；如果是动态加载，可能需要用`selenium`模拟浏览器行为。 5. **遵守网站规则和道德**： 在爬取前确保了解目标网站的Robots协议，并尊重版权。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值