Scrapy设置之HTTP缓存与离线工作

最新推荐文章于 2025-07-05 18:00:34 发布
最新推荐文章于 2025-07-05 18:00:34 发布
阅读量7.4k 收藏 9
点赞数
CC 4.0 BY-SA版权
分类专栏： scrapy 网络爬虫 文章标签： scrapy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Q_AN1314/article/details/51105652
本文介绍了Scrapy的HTTP缓存功能，包括如何启用缓存策略和选择存储位置。通过设置缓存策略为RFC2616Policy模拟浏览器行为，并在本地文件系统存储响应。在离线环境中，缓存可以加速爬虫运行。同时，展示了如何调整设置以控制缓存大小，以及清理缓存的方法。

Scrapy的HttpCacheMiddleware组件（默认情况下没有启用）提供了一个底层（low-level）的对HTTP请求和响应的缓存。如果启用的话（把HTTPCACHE_ENABLED设置为True），它会缓存每个请求和对应的响应。

这个组件有两个可选项：缓存策略和存储位置。

缓存策略：

  • Dummy policy（默认）：这种策略不考虑服务器返回的HTTP Cache-Control指示，它会缓存所有的请求和响应。当遇到相同的请求时，它会直接从缓存中获得响应。要使用这种缓存策略，可以把HTTPCACHE_POLICY设置成scrapy.extensions.httpcache.DummyPolicy。
  • RFC2616Policy：这种缓存策略会考虑服务器返回的缓存指令，大概类似于浏览器的行为。可以参考Scrapy文档。

存储位置：

  • 用本地文件系统存储（默认）：可以设置HTTPCACHE_DIR指定存储的位置。要使用这种方式，需要把HTTPCACHE_STORAGE设置成scrapy.extensions.httpcache.FilesystemCacheStorage。每对请求/响应都会被存储在不同的目录里，里面有一些与此相关的文件（参考Scrapy文档）。目录的名字是由请求对应的fingerprint确定的（scrapy.util
最低0.47元/天 解锁文章

200万优质内容无限畅学
scrapy自定义Request的缓存策略（减少内存占用）
u011734144的专栏
11-30 2413
scrapy-redis大概的架构： 从redis中拉url，构造Request对象，写入SCHEDULER_QUEUE_CLASS定义的队列中，调度器从队列中拉取Request进行抓取 想自定义Request的初衷主要是为了减少内存的占用，当然虽然我们的内存消耗的也不是那么多，也就几个G scrapy自带的几个队列有这么几个： * scrapy_redis.queue.SpiderQu...
Python Scrapy：在Windows系统上的安装与使用
Python编程之道的博客
04-28 1094
Scrapy是一个为了爬取网站数据、提取结构性数据而编写的应用框架。它可以应用在数据挖掘、信息处理或存储历史数据等一系列的程序中。本文的目的在于指导读者在Windows系统上完成Scrapy的安装，并详细介绍其使用方法，包括从基本的项目创建到复杂的爬虫编写，涵盖了Scrapy的核心功能和常见应用场景。本文将按照以下结构进行组织：首先介绍Scrapy的核心概念与联系，让读者对其架构有一个清晰的认识；接着讲解核心算法原理和具体操作步骤，通过Python代码进行详细阐述；然后给出相关的数学模型和公式，并举例说明。
scrapy-memcached-cache：用于Scrapy的Memcached HTTP缓存存储后端
02-20
Scrapy Memcached缓存 Memcached HTTP缓存存储后端。 安装 使用pipenv install scrapy-memcached-cache或pip install memcached-cache安装软件包。 用法 在您的Scrapy settings.py ： 使用HTTPCACHE_ENABLED = True启用HTTP缓存 设置缓存过期（以秒为单位），例如，使用HTTPCACHE_EXPIRATION_SECS = 600 使用HTTPCACHE_STORAGE = 'scrapy_memcached_cache.MemcachedCacheStorage'将MemcachedCacheStorage设置为缓存存储 设置您的Memcached运行的位置，例如，使用MEMCACHED_LOCATION=localhost:11211 完毕 :party_popper: 贡献 请
scrapy-s3-cache:在 Scrapy 项目中使用 S3 作为缓存后端
05-30
scrapy-s3-cache 在 Scrapy 项目中使用 S3 作为缓存后端。 更多文档即将推出！
使用Scrapy进行网络爬取时的缓存策略与User-Agent管理
Z_suger7的博客
07-03 970
通过合理配置Scrapy的缓存策略和User-Agent管理，可以显著提高爬虫的性能和安全性。本文提供了实现随机User-Agent中间件的代码示例和缓存策略的配置方法，希望对爬虫开发者有所帮助。Scrapy内置的缓存系统可以存储请求的响应，避免重复请求相同的URL。Scrapy默认使用一个预定义的User-Agent字符串，但可以通过USER_AGENT设置自定义User-Agent。为了更好地模拟用户行为，可以创建一个随机User-Agent中间件，为每个请求分配不同的User-Agent。
scrapy离线调试本地HTML文件
呆萌的代Ma
03-01 2725
有时使用爬虫的时候会把网页抓下来然后本地调试，所以今天写一篇博客记录一下整个流程： 目录 1.抓取网页保存到本地 2.离线调试 1.抓取网页保存到本地 # 在Scrapy爬虫类的parse函数中使用 def parse(self,response): def saveHtml(file_content): with open("保存路径/test.htm...
【网络与爬虫 13】智能伪装：Scrapy-Fake-UserAgent反检测技术实战指南
熵数实验室
07-05 2193
本文深入解析Scrapy-Fake-UserAgent库的工作原理与应用技巧，详细讲解如何利用其智能化用户代理生成功能有效规避现代网站的爬虫检测机制。从浏览器指纹识别原理出发，到中间件配置、自定义策略开发，再到与其他反爬技术的协同应用，全方位剖析这一高级反检测技术。通过实战案例与性能测试，帮助读者掌握构建真实可信的爬虫身份，提升数据采集成功率与稳定性。
使用scrapy cluster构建企业级爬虫系统——（1）为什么是scrapy cluster，而不是scrapy?
u011423145的博客
07-05 439
引言 数据采集是数据科学中很重要的一部分，数据采集看上去容易，但是实际做起来，想要做好，很难。因为我们要面对的是不同的目标网站，获取的数据形式，获取频率，获取方式也千差万别。 比如如果你做的是一个大学的课程作业，或是需要帮助导师抓取一些数据，比如论坛数据，美食网站数据，那么这种爬虫往往只需要执行一次即可，他的目标是尽量快，尽量完整的保存下数据，工程量尽量的小，这个时候你需...
Scrapy Pipeline之使用REST API
04-19 4123
REST是一种用来创建现代web应用的一系列技术的集合。它最主要的优势就是它比SOAP或者其他一些专有的web服务机制要更加简单、更加地轻量级。软件设计者们观察到了在web服务经常提供的CRUD（Create,Read,Update,Delete）功能和基本的HTTP操作（GET,POST,PUT,DELETE）之间的相似性。他们也观察到了很多用于web服务的信息都可以被压缩到一个资源URL上。例如
scrapy间歇性响应为空/降速/缓存
李玺
10-10 1351
使用 scrapy访问豆瓣的搜索接口时，莫名会出现response json数据为空的情况。 加上回调重新请求 (要设置dont_filter=True 防止被过滤)， 还是会出现异常。 最后发现是请求速度过快导致的。 降速： 将其中的访问速度与下载速度调整一下，具体设置： #并发请求个数（越小越慢） 默认是16个 CONCURRENT_REQUESTS = 5 #下载延迟时间（越大请求越慢） ...
Scrapy配置之自动限速以及缓存
weixin_30496751的博客
08-31 630
缓存：内存或本地文件，更近更快的地方拿到 HTTPCACHE_ENABLED=True　　是否启用缓存策略 转载于:https://www.cnblogs.com/jintian/p/11439593.html
Scrapy Pipeline之使用专门的Twisted客户端（以Redis缓存为例）
04-21 3435
Scrapy可以和其他使用了专门的Twisted的客户端交互，例如，如果我们想把它和MongoDB一起使用，搜索一下”MongoDB Python”，然后会找到PyMongo，这是个阻塞/同步的库，不应该和Twisted一起使用，除非我们还使用了线程来处理阻塞的操作。如果我们搜索一下”MongoDB Twisted Python”，会找到txmongo，它和Twisted及Scrapy就配合得很好。
Scrapy Redis实现分布式爬取与缓存管理
积跬步，至千里。
04-09 1086
Scrapy Redis是Scrapy框架基于redis分布式的一个组件，用于在分布式环境下使用Redis作为共享的调度器和去重器。它可以让多个Scrapy爬虫共享同一个Redis数据库，从而实现高效的分布式爬取。
scrapy简单使用
m0_52839423的博客
06-08 1397
关于scrapy的常用命令，组件、功能、流程介绍，让你5分钟搭建属于自己的爬虫项目
scrapy命令和项目调试-scrapy框架4-python
gaogzhen的博客
02-26 1682
文章目录1、scrapy命令2、项目调试2.1、shell控制台调试2.2、parse命令2.3、日志 在编写项目的时候，需要不断的调试代码。同时频繁大量的请求目标网站，可能触发一些安全策略，比如屏蔽IP等等。这时，需要掌握一些调试技巧。在这之前，先了解一些scrapy命令。 1、scrapy命令 scrapy命令分2类：全局命令和项目命令。 # 查看用法帮助和可用的命令 scrapy scrapy -h # 查看某个命令的详细信息 scrapy <command> -h 全局命令：
python-scrapy框架（四）settings.py文件的用法详解实例
naer_chongya的博客
07-03 1744
Win64;
对于scrapy的settings的使用
weixin_39790665的博客
09-17 461
BOT_NAME = ‘firstspider’ # 项目的名字,用来构造默认 User-Agent,同时也用来log,使用 startproject 命令创建项目时其也被自动赋值。 SPIDER_MODULES = [‘firstspider.spiders’]　　#Scrapy搜索spider的模块列表 默认: [xxx.spiders] NEWSPIDER_MODULE = ‘firstspider.spiders’　　#使用 genspider 命令创建新spider的模块。默认: ‘xxx.sp
【Scrapy】安装与基础配置笔记
inganxu
12-22 889
本篇记录作者在安装创建scrapy项目过程的方法，作者电脑windows10。
Scrapy 常用方法以及其补充
有什么问题回复不及时，可以私聊我。也可以加我的星球：知识爬行者
03-04 750
本文作者：ZiCh 本文链接：https://www.cnblogs.com/zichliang/p/17178868.html 版权声明：未经作者允许严禁转载 JsonRequest 使用示例 使用 JsonReuquest发送 JSON POST 请求： # -*- coding: utf-8 -*- # @Time : 2022/10/14 13:12 # @Author : ...
scrapy爬取笔趣阁
最新发布
07-10
<think>我们正在处理一个关于使用Scrapy爬取笔趣阁小说的问题。用户给出的指令是"scrapy crawl biquge novel content"，这看起来像是一个命令行指令，但实际上用户可能是在询问如何使用Scrapy框架来爬取笔趣阁网站的小说内容。 根据提供的引用，我们有三个与Scrapy爬取笔趣阁相关的代码示例（引用1、2、3）和一个关于Scrapy框架的简要介绍（引用4）。我们的任务是根据这些引用，构建一个完整的爬虫项目，并解释如何运行它。 步骤： 1. 创建Scrapy项目 2. 定义Item（用于存储小说数据） 3. 编写Spider（解析网页，提取小说内容） 4. 设置Item Pipeline（处理存储） 5. 运行爬虫 但是，用户给出的指令中提到了“biquge”和“novel content”，因此我们需要创建一个名为biquge的spider，并且爬取小说内容。 根据引用3，我们有一个相对完整的示例，它爬取单章小说内容，并通过下一章链接递归爬取整本小说。我们将以此为基础。 具体步骤： 1. 创建Scrapy项目： 在命令行中执行： ``` scrapy startproject biquge cd biquge ``` 2. 定义Item（在items.py中）： 根据引用2，我们可以定义三个字段：name（小说名）、author（作者）、content（小说内容）。但是，引用3中使用了title（章节名）和content（章节内容）。考虑到整本小说，我们可能需要存储多个章节，因此我们可以这样设计： - 小说名（name）和作者（author）可以在第一个页面中获取（如小说目录页），然后传递给每一章。 - 每一章我们存储章节标题（title）和内容（content），最后将所有章节合并成整本小说。 但是，由于Scrapy是异步的，我们可能需要将不同章节的内容收集起来，然后在某个点（如最后）合并。另一种做法是每章单独存储，然后离线合并。 为了简单，我们可以先按章节存储，然后通过后续处理合并。这里我们按照引用3的方式，每章生成一个Item，包含章节标题和内容。而整本书的书名和作者可以在Spider的初始化中获取，并传递给每个章节Item。 修改items.py： ```python import scrapy class BiqugeItem(scrapy.Item): # 小说名 novel_name = scrapy.Field() # 作者 author = scrapy.Field() # 章节标题 chapter_title = scrapy.Field() # 章节内容 chapter_content = scrapy.Field() # 章节顺序（可选，用于后续排序） chapter_order = scrapy.Field() ``` 3. 编写Spider： 在spiders目录下创建biquge_spider.py（或类似名称）。 根据引用3，我们使用一个起始URL（小说第一章），然后解析出章节标题、内容，并找到下一章的链接，递归爬取。 但是，我们需要先获取小说名和作者。根据引用1和引用3，我们可以从目录页获取小说名和作者。引用1的起始URL是目录页（`http://www.biquge.info/10_10582/`），引用3的起始URL是第一章（`https://www.bigee.cc/book/6909/1.html`）。我们可以从目录页开始，因为目录页包含小说名、作者和所有章节的链接。 两种策略： - 策略一：从目录页开始，解析小说名、作者，然后提取所有章节链接，然后逐个请求章节页面（使用scrapy.Request）并解析内容。 - 策略二：从第一章开始，然后通过“下一章”链接递归爬取，同时从第一章页面获取小说名和作者（如果第一章页面有的话）。 引用3使用的是策略二（通过下一章链接递归）。但是，如果第一章页面没有小说名和作者，我们就需要调整。 查看引用3的起始URL：`https://www.bigee.cc/book/6909/1.html`，我们可以假设这个页面有小说名和作者吗？在引用3的代码中，它只提取了章节标题和内容，以及下一章链接。所以我们需要修改。 实际上，笔趣阁的不同网站结构可能不同。因此，我们需要根据具体的笔趣阁网站调整。 这里我们采用策略一，因为目录页通常包含完整信息。以引用1的目录页为例。 步骤： - 请求目录页，解析小说名、作者。 - 解析所有章节链接。 - 依次请求每个章节，解析章节标题和内容。 - 在解析章节时，将小说名、作者、章节标题、内容等信息存入Item。 注意：由于章节数量可能很多，我们可能需要限制（比如只爬取前10章作为测试）。 我们以引用1的网站为例（`http://www.biquge.info/10_10582/`）来编写Spider。 创建spider（biquge_spider.py）: ```python import scrapy from biquge.items import BiqugeItem class BiqugeSpider(scrapy.Spider): name = 'biquge' allowed_domains = ['www.biquge.info'] start_urls = ['http://www.biquge.info/10_10582/'] # 替换为你要爬的小说的目录页 def parse(self, response): # 解析小说名和作者 novel_name = response.xpath('//div[@id="info"]/h1/text()').get() author = response.xpath('//div[@id="info"]/p[1]/text()').get().replace('作者：', '') # 解析所有章节链接 chapter_links = response.xpath('//div[@id="list"]/dl/dd/a/@href').getall() # 注意：笔趣阁的章节链接可能是相对路径，需要转换为绝对路径 for index, link in enumerate(chapter_links): # 假设链接是相对路径，拼接为绝对URL chapter_url = response.urljoin(link) # 请求章节页面，并传递小说名、作者和章节顺序（index） yield scrapy.Request(chapter_url, callback=self.parse_chapter, meta={'novel_name': novel_name, 'author': author, 'chapter_order': index}) def parse_chapter(self, response): # 从meta中获取小说名、作者和章节顺序 novel_name = response.meta['novel_name'] author = response.meta['author'] chapter_order = response.meta['chapter_order'] # 解析章节标题 chapter_title = response.xpath('//div[@class="bookname"]/h1/text()').get() # 解析章节内容 # 注意：笔趣阁的内容通常在一个id为content的div中，并且可能包含一些干扰字符（如广告） content_list = response.xpath('//div[@id="content"]//text()').getall() # 过滤掉不需要的字符（如空格、广告等） content = ''.join(content_list).strip() # 清理内容：去除广告、换行符等（根据实际情况调整） content = content.replace('\xa0', ' ').replace('<br>', '\n').replace('　　', '\n ') # 创建Item item = BiqugeItem() item['novel_name'] = novel_name item['author'] = author item['chapter_title'] = chapter_title item['chapter_content'] = content item['chapter_order'] = chapter_order yield item ``` 注意：以上代码中的XPath路径需要根据实际网页结构调整。由于笔趣阁网站可能改版或存在多个镜像站点，用户需要根据目标网站的实际HTML调整XPath。 4. 设置Item Pipeline（可选）： 如果我们想将数据存储到文件或数据库，可以编写Pipeline。这里我们可以将每章内容存储为文本文件，或者将所有章节存储到一个文件中（注意按章节顺序）。 在pipelines.py中： ```python class BiqugePipeline: # 在开始爬虫时打开一个文件 def open_spider(self, spider): if spider.name == 'biquge': self.file = open('novel.txt', 'w', encoding='utf-8') # 处理每个Item def process_item(self, item, spider): if spider.name == 'biquge': # 将章节标题和内容写入文件 self.file.write(f"{item['chapter_title']}\n\n") self.file.write(item['chapter_content'] + "\n\n") return item # 关闭文件 def close_spider(self, spider): if spider.name == 'biquge': self.file.close() ``` 然后在settings.py中启用Pipeline： ```python ITEM_PIPELINES = { 'biquge.pipelines.BiqugePipeline': 300, } ``` 5. 运行爬虫： 在项目根目录下执行： ``` scrapy crawl biquge ``` 注意：由于我们使用了Pipeline将内容写入文件，运行后会在当前目录生成一个novel.txt文件，包含所有章节。 但是，用户提供的指令是“scrapy crawl biquge novel content”，这可能是用户想运行一个名为“biquge”的爬虫，并且可能希望将内容存储为“novel content”。我们可以解释运行命令后，爬虫会开始工作，并将小说内容存储下来。 另外，考虑到用户可能希望将整本小说存储为一个文件（按章节顺序），我们在Pipeline中按chapter_order排序？但是注意，Scrapy是异步的，章节顺序可能乱序到达。因此，我们需要在Pipeline中缓存所有章节，然后按顺序写入。 修改Pipeline： ```python from collections import defaultdict class BiqugePipeline: def __init__(self): self.chapters = defaultdict(str) # 用字典存储章节内容，键为顺序，值为内容字符串 self.novel_name = None self.author = None def process_item(self, item, spider): if spider.name == 'biquge': # 记录小说名和作者（假设每章都一样，我们只取一次） if self.novel_name is None: self.novel_name = item['novel_name'] self.author = item['author'] # 将章节内容按顺序存入字典 self.chapters[item['chapter_order']] = f"{item['chapter_title']}\n\n{item['chapter_content']}\n\n" return item def close_spider(self, spider): if spider.name == 'biquge': # 按顺序写入文件 with open(f'{self.novel_name}.txt', 'w', encoding='utf-8') as f: # 写入小说名和作者 f.write(f"小说名：{self.novel_name}\n作者：{self.author}\n\n") # 按章节顺序写入 for order in sorted(self.chapters.keys()): f.write(self.chapters[order]) ``` 这样，在爬虫结束时，会按章节顺序将整本小说写入以小说名命名的文件中。 注意：如果章节非常多，可能会占用大量内存。另一种方法是使用临时文件，然后合并。 最后，用户需要根据实际网站调整XPath，因为不同的笔趣阁镜像站点结构可能不同。 总结回答： 1. 创建Scrapy项目并定义Item。 2. 编写Spider，从目录页开始，解析小说名、作者和章节链接，然后请求每个章节页面解析内容。 3. 使用Pipeline将章节按顺序存储到文件中。 4. 运行爬虫命令：`scrapy crawl biquge` 相关问题： 1. 如何调整XPath以适应不同的笔趣阁网站？ 2. 如何避免被笔趣阁网站反爬虫？ 3. 如何提高爬取速度？ 4. 如何将爬取的小说内容存储到数据库（如MongoDB）？</think>### 使用Scrapy爬取笔趣阁小说内容 以下是完整的Scrapy爬虫实现方案，用于爬取笔趣阁网站的小说内容： #### 1. 创建Scrapy项目 ```bash scrapy startproject biquge_crawler cd biquge_crawler ``` #### 2. 定义数据模型（items.py） ```python import scrapy class NovelItem(scrapy.Item): novel_name = scrapy.Field() # 小说名称 author = scrapy.Field() # 作者 chapter_title = scrapy.Field() # 章节标题 chapter_content = scrapy.Field() # 章节内容 chapter_url = scrapy.Field() # 章节链接 ``` #### 3. 编写爬虫（spiders/biquge_spider.py） ```python import scrapy from biquge_crawler.items import NovelItem class BiqugeSpider(scrapy.Spider): name = 'biquge' allowed_domains = ['www.biquge.info'] # 替换为实际小说目录页URL start_urls = ['http://www.biquge.info/10_10582/'] def parse(self, response): # 提取小说基本信息 novel_name = response.xpath('//div[@id="info"]/h1/text()').get() author = response.xpath('//div[@id="info"]/p[1]/text()').get().replace('作者：', '') # 提取所有章节链接 chapter_links = response.xpath('//div[@id="list"]/dl/dd/a/@href').getall() for link in chapter_links[:10]: # 测试前10章 full_url = response.urljoin(link) yield scrapy.Request( full_url, callback=self.parse_chapter, meta={'novel_name': novel_name, 'author': author} ) def parse_chapter(self, response): item = NovelItem() item['novel_name'] = response.meta['novel_name'] item['author'] = response.meta['author'] item['chapter_title'] = response.xpath('//div[@class="bookname"]/h1/text()').get() # 处理章节内容 content_lines = response.xpath('//div[@id="content"]//text()').getall() cleaned_content = '\n'.join( line.strip() for line in content_lines if line.strip() and '笔趣阁' not in line ) item['chapter_content'] = cleaned_content item['chapter_url'] = response.url yield item ``` #### 4. 配置数据存储（pipelines.py） ```python import json class JsonWriterPipeline: def open_spider(self, spider): self.file = open('novel.json', 'w', encoding='utf-8') self.file.write('[\n') self.first_item = True def close_spider(self, spider): self.file.write('\n]') self.file.close() def process_item(self, item, spider): if not self.first_item: self.file.write(',\n') else: self.first_item = False line = json.dumps(dict(item), ensure_ascii=False) self.file.write(' ' + line) return item ``` #### 5. 启用Pipeline（settings.py） ```python ITEM_PIPELINES = { 'biquge_crawler.pipelines.JsonWriterPipeline': 300, } ``` #### 6. 运行爬虫 ```bash scrapy crawl biquge ``` ### 关键点说明 1. **XPath选择器**：使用`response.xpath()`提取小说标题、作者、章节内容和链接 2. **URL拼接**：`response.urljoin()`处理相对URL 3. **内容清洗**：过滤广告文本和空白字符 4. **递归爬取**：通过章节链接实现整本小说爬取 5. **JSON存储**：使用Pipeline将数据保存为结构化JSON文件 ### 注意事项 1. 替换`start_urls`为实际小说目录页URL 2. 遵守网站`robots.txt`规则，添加下载延迟 3. 完整爬取时移除章节限制`[:10]` 4. 可添加代理中间件防止IP被封 > 提示：实际使用时需根据目标网站结构调整XPath选择器[^1][^3]。Scrapy框架的异步处理机制能有效提升爬取效率[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值