Scrapy学习过程之四：Feed Export

最新推荐文章于 2021-11-03 22:18:29 发布
最新推荐文章于 2021-11-03 22:18:29 发布
阅读量1.1k 收藏 5
点赞数
CC 4.0 BY-SA版权
分类专栏： Scrapy 文章标签： Scrapy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dkfajsldfsdfsd/article/details/97250441
本文介绍了Scrapy的数据导出流程，包括Serialization formats如JSON、CSV等，Storages如Local Filesystem、FTP、S3，并详细讲解了FEED_URI、FEED_FORMAT等设置参数，以及如何自定义存储后端和序列化方式。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

参考：https://docs.scrapy.org/en/latest/topics/feed-exports.html#topics-feed-exports

整体架构图：

Scrapy architecture

SPIDER提取出的数据是dict，从上图可以看出，会将这些数据发送给ENGINE，然后ENGINE再将数据交给ITEM PIPELINES。

Serialization formats

Scrapy提供了几种内置的方法，能将dict转换成常见的数据格式，开箱即用。

  • JSON
  • JSON Line
  • CSV
  • XML

以上是Scrapy内置的序列化dict的方法，开发者也可以通过设置FEED_EXPORTERS进行自定义扩展，稍后展开，这个东西就是设置一个开发者自己实现的一个EXPORTER。

Storages

格式转换有了，接下来就是把转换好的数据存放在什么地方的问题。Scrapy通过设置一个URI指定，参数是FEED_URL，稍后展开。

Scrapy支持的内置存储后端类型：

  • Local Filesystem
  • FTP
  • S3
  • Standard Output

有些存储后端需要另外安装依赖包，如S3需要安装botocore与boto。

Storage URI parameters

设置存储后端的URI可以包含可替换点位符，当真正写数

最低0.47元/天 解锁文章

200万优质内容无限畅学
Scrapy爬虫框架 Feed exports 数据文件输出
Mr数据杨
02-01 3万+
在本教程中我们详细探讨了 Scrapy 2.6 版本中 Feed exports 数据文件输出的各个关键环节。通过这些内容，你已经了解了如何灵活地选择和配置不同的序列化格式、存储方式，以及如何通过数据过滤和提交处理来确保数据的质量和可用性。掌握这些技能后，你将能够根据具体的项目需求，自如地调整和优化数据输出流程，确保数据的完整性、准确性和实用性。无论是简单的本地存储，还是复杂的云端解决方案，Scrapy 都为你提供了足够的工具和灵活性，让你在数据抓取项目中游刃有余。
Scrapy框架 Feed exports 数据文件输出应用案例
Mr数据杨
10-26 142
在网络数据采集领域，Scrapy 是一个非常流行和强大的爬虫框架。无论是抓取网页数据，还是将数据以各种格式保存，Scrapy 都提供了强大的支持。在抓取完数据后，如何高效地将数据导出为所需的格式（如 JSON、CSV、XML 等）是每个开发者都需要掌握的重要技能之一。Scrapy 的 Feed Exports 功能为此提供了简单且灵活的解决方案。
Scrapy爬虫入门教程十 Feed exports（导出文件）
inke的博客
03-07 9385
Scrapy爬虫入门教程十 Feed exports（导出文件）
Scrapy: Feed exports
AI路漫漫
06-19 662
啥也没看懂欸，，，
Scrapy1.5基本概念（八）——Feed exports
ReganDu的博客
01-04 690
本文为译文，原文见地址：https://docs.scrapy.org/en/latest/topics/feed-exports.html Feed exports 于版本0.10中新增。 在实现Scrapy时，最常用特性之一是能够正确地存储爬取到的数据，这通常意味着生成一个“导出文件”，其中包含了爬取到的数据（通常被称为“到处提要（export feed）”），以供其他系统使用。 Scra...
Scrapy学习笔记VIII--Feed exports
qq_30717683的博客
04-12 1323
当爬取完数据后，可以产生一个“export file”（输出文件）–>export feed(反馈报告)，可以被其他系统所使用消耗scrapy提供 Feed Exports，可以为items产生一个feed（文件如json，CSV，xml等），然后格式化的存储到后端Serialization formats 当你爬取数据后，想把数据保存在本地路径（如json格式）或者其他地方，scrapy 使用（
安装Python爬虫Scrapy的坑：PermissionError: [Errno 13] Permission denied
qq_29998877的博客
10-23 2616
好久没有开发爬虫，东西都丢了，知识也忘了，重头再来。 主机：win10 64位操作系统 虚拟机：VMware 14.1.3 操作系统：Ubuntu 16.4 注意：首先虚拟机需要以管理员身份运行，不然打不开Ubuntu操作系统。 下面是我两种安装方法:anaconda安装python3.7和使用本机带的python3.5分别去安装scrapy 。 一、anaconda安装方法 ...
【Scrapy项目构建术】：一步步打造完美爬虫架构
本文首先对Scrapy项目的基础知识进行了介绍，然后深入探讨了其设计理念、核心架构，包括中间件的应用和Item Pipeline机制。在实践部署与优化方面，文中详述了创建Scrapy项目、数据抓取、性能优化及异常处理的策略。...
Scrapy——Feed exports
mashaokang1314的博客
09-19 421
实现爬虫时最经常提到的需求就是能合适的保存爬取到的数据，或者说，生成一个带有爬取数据的“输出文件”，来供其它系统使用。 Scrapy自带了Feed输出，并且支持多种序列化格式及存储方式。 序列化方式 feed 输出使用到了Item exporters。其自带的类型有： JSON JSON lines CSV XML 也可以通过FEED_EXPORTERS设置扩展支持的属性。 JSON FEE...
Python爬虫笔记（十二）——Scrapy官方文档阅读——Feed exports
菜到怀疑人生的博客
08-09 966
Feed exports用于处理数据的存储 Scrapy提供了开箱即用的数据存储格式： JSON 使用的Feed_exports:JsonItemExporter JSON lines 使用Feed_exports： JsonLinesItemExporter CSV 使用Feed_exports： CsvItemExporter XML 使用Feed_exports： XmlItem...
初识 Scrapy - Feed导出
besmarterbestronger的博客
07-03 748
文章目录序列化格式JSONJSON linesCSVXMLPickleMarshal存储本地文件系统FTPS3标准输出设置 在实现scraper时，最经常需要的功能之一是能够正确地存储被抓取的数据，这通常意味着用被抓取的数据（通常称为“导出提要”）生成一个“导出文件”，供其他系统使用。 Scrapy通过Feed导出提供了这样一个开箱即用的功能。允许你根据抓取的items使用多种序列化格式和存储后端生成feeds。 序列化格式 JSON JSON lines CSV XML Pickle Marshal 存储
Scrapy笔记：持久化，Feed exports的使用
dinght2000的博客
05-10 366
首先要明确的是，其实所有的FeedExporter都是类，里面封装了一般进行io操作的方法。因此，要怎么输出呢？其实从技术实现来说，在生成item的每一步调用其进行储存都是可以的，只不过为了更加符合scrapy的架构，一般都是在Pipeline中使用FeedExporter的。 每一个Exporter的使用都是类似的： 在settings.py中写入相应的配置， 在pipeline...
scrapy 存为csv时是按首字母排序的，解决：FEED_EXPORT_FIELDS
small_Dr的博客
11-03 382
scrapy 存为csv时是按首字母排序的，解决：FEED_EXPORT_FIELDS 在setting.py中添加自定义顺序 FEED_EXPORT_FIELDS = [ 'name', 'comments', 'popular', 'feet', 'art', 'taste', ] 结果就是按我们设定的顺序，找了很多种方法，这个是最简单的。 name,comments,popular,feet,art,taste 熬虾油,31,15414,5,炒,其它口
【爬虫】Scrapy Feed Exports
sinat_40431164的博客
07-31 474
【原文链接】https://doc.scrapy.org/en/latest/topics/feed-exports.html#topics-feed-exports   Feed exports New in version 0.10. One of the most frequently required features when implementing scrapers is b...
python爬虫scrapy框架无法生成csv文件是怎么回事_[python爬虫] xpath没错，但运用scrapy框架无法爬到数据...
weixin_39947908的博客
11-21 262
初学scrapy，我用python爬虫时使用scrapy框架爬取‘简书’的一些内容运行爬虫后，爬虫就关闭了，但什么内容都没爬取到网上类似的问答基本都说是xpath错了，导致无法抓取到数据但我用其他方法，相同的xpath能爬取到数据代码都在下面，求帮忙看看，谢谢文件目录如下：.├── jianshu_spider│ ├── __init__.py│ ├── __pycache__│ │...
爬虫：Scrapy9 - Feed exports
weixin_30497527的博客
09-18 196
实现爬虫时最经常提到的需求就是能合适的保存爬取到的数据，或者说，生成一个带有爬取数据的“输出文件”（通常叫“输出 feed”），来供其它系统使用。 Scrapy 自带了 Feed 输出，并且支持多种序列化格式（serialization format）及存储方式（storage backends）。 序列化方式（serialization formats） feed 输出使用到了 Item ...
Scrapy框架之Feed exports输出路径及文件格式配置：
weixin_43343144的博客
02-23 1298
项目名scrapy_first/settings.py配置 文件导出的路径当前目录下的export_data文件下 FEED_URI = "export_data/%(name)s_%(time)s.json" 输出文件的格式类型(JSON、CSV、XML) FEED_FORMAT = "json" 输出文本编码格式(json默认格式不是utf-8) FEED_EXPORT_ENCODI...
Scrapy设置之Feeds
04-10 4037
Scrapy提供了Feed Exports来保存抓取到的Item，Feed Exports有几种序列化格式和几种存储方式。存储方式：本地文件系统、FTP、S3、标准输出。由FEED_URI选项指定。FEED_URI里面可以有命令参数，例如，ftp://user:password@ftp.example.com/scraping/feeds/%(name)s/%(time)s.json其中，time由
V2025-03-18 15:57:52 [scrapy.utils.log] INFO: Scrapy 2.11.2 started (bot: weibo) 2025-03-18 15:57:52 [scrapy.utils.log] INFO: Versions: lxml 5.3.1.0, libxml2 2.11.7, cssselect 1.2.0, parsel 1.9.1, w3lib 2.2.1, Twisted 24.11.0, Python 3.8.5 (t ags/v3.8.5:580fbb0, Jul 20 2020, 15:57:54) [MSC v.1924 64 bit (AMD64)], pyOpenSSL 25.0.0 (OpenSSL 3.4.1 11 Feb 2025), cryptography 44.0.1, Platform Windows-10-10.0.22621-SP0 2025-03-18 15:57:52 [weibo_comment] INFO: Reading start URLs from redis key 'weibo_comment:start_urls' (batch size: 16, encoding: utf-8) 2025-03-18 15:57:52 [scrapy.addons] INFO: Enabled addons: [] 2025-03-18 15:57:52 [asyncio] DEBUG: Using selector: SelectSelector 2025-03-18 15:57:52 [scrapy.utils.log] DEBUG: Using reactor: twisted.internet.asyncioreactor.AsyncioSelectorReactor 2025-03-18 15:57:52 [scrapy.utils.log] DEBUG: Using asyncio event loop: asyncio.windows_events._WindowsSelectorEventLoop 2025-03-18 15:57:52 [scrapy.extensions.telnet] INFO: Telnet Password: ed3efe598fe58086 2025-03-18 15:57:52 [scrapy.middleware] INFO: Enabled extensions: ['scrapy.extensions.corestats.CoreStats', 'scrapy.extensions.telnet.TelnetConsole', 'scrapy.extensions.logstats.LogStats'] 2025-03-18 15:57:52 [scrapy.crawler] INFO: Overridden settings: {'BOT_NAME': 'weibo', 'DOWNLOAD_DELAY': 2, 'DUPEFILTER_CLASS': 'scrapy_redis.dupefilter.RFPDupeFilter', 'FEED_EXPORT_ENCODING': 'utf-8', 'NEWSPIDER_MODULE': 'weibo.spiders', 'REQUEST_FINGERPRINTER_IMPLEMENTATION': '2.7', 'ROBOTSTXT_OBEY': True, 'SCHEDULER': 'scrapy_redis.scheduler.Scheduler', 'SPIDER_MODULES': ['weibo.spiders'], 'TWISTED_REACTOR': 'twisted.internet.asyncioreactor.AsyncioSelectorReactor'} Unhandled error in Deferred: 2025-03-18 15:57:52 [twisted] CRITICAL: Unhandled error in Deferred: Traceback (most recent call last): File "e:\python\lib\site-packages\twisted\internet\defer.py", line 2017, in _inlineCallbacks result = context.run(gen.send, result) File "e:\python\lib\site-packages\scrapy\crawle
最新发布
03-19
<think>好的，用户遇到了Scrapy运行时的“Unhandled error in Deferred”错误，需要解决这个问题。根据提供的引用内容，我需要分析可能的原因，并提供对应的解决方案。 首先，用户提供的引用中有多个可能的原因。引用[5]提到缺少sqlite模块，用户尝试导入后发现问题，所以这可能是一个常见原因。另外，引用[3]指出可能是Twisted模块中的请求队列排序错误或pywin32版本问题。引用[2]提到在修复PyCharm提示的问题后，init文件被修改，可能导入了不必要的模块。引用[4]的代码示例中使用了一个循环调用crawl并可能未正确处理异步操作，可能导致资源暂时不可用。引用[1]则提到了pipeline模块的导入错误，可能是settings中的配置问题。 接下来，我需要将这些可能的原因整理成结构化的步骤，每个步骤对应一个解决方法。需要确保用户能够逐步排查，从简单到复杂。例如，先检查Python环境是否缺少sqlite模块，然后检查pipelines.py的设置是否正确，再查看是否有不正确的循环调用或异步处理问题，最后处理可能的包版本冲突。 另外，需要确保用户正确安装相关依赖，如pywin32，以及检查Scrapy项目的配置是否正确，比如ITEM_PIPELINES的设置是否存在拼写错误或未正确导入模块。同时，在代码结构方面，引用[4]中的示例可能使用了reactor.run()和循环调用的方式，这可能导致资源问题，需要建议用户使用CrawlerProcess代替CrawlerRunner，并正确管理reactor的运行。 最后，可能需要提醒用户注意环境变量或路径问题，特别是在使用Anaconda或其他虚拟环境时，确保所有依赖包版本兼容，并且正确安装了sqlite等必要的模块。 总结可能的解决方案步骤： 1. 检查并安装sqlite模块。 2. 检查pipelines.py和settings.py中的配置是否正确。 3. 确保正确使用CrawlerProcess和reactor，避免循环中的资源问题。 4. 安装或更新pywin32包。 5. 检查环境中的包版本兼容性，尤其是Twisted和Scrapy的版本。 需要将这些步骤用清晰的中文解释，帮助用户一步步排查问题，并引用相关的引用内容作为支持依据。</think>针对Scrapy运行中出现的`CRITICAL: Unhandled error in Deferred`错误，以下是逐步排查与解决方案： --- ### **1. 检查Python环境依赖** #### 1.1 确认SQLite模块正常 部分系统可能未正确安装SQLite支持库，尝试在Python中手动导入测试： ```python import sqlite3 ``` 若报错，需安装SQLite开发包： - **Ubuntu/Debian**：`sudo apt-get install libsqlite3-dev` - **Windows**：通过Anaconda或Python安装包重新安装Python环境[^5] #### 1.2 安装pywin32（仅Windows） Windows环境下需安装匹配的`pywin32`版本： ```bash pip install pywin32==303 # 指定兼容版本 ``` --- ### **2. 排查Scrapy项目配置** #### 2.1 检查`pipelines.py`引用 确保`settings.py`中未错误引用不存在的Pipeline类： ```python ITEM_PIPELINES = { 'myproject.pipelines.MyPipeline': 300, # 确认类名和路径正确 } ``` 若未使用Pipeline，直接注释掉该配置[^1][^2]。 #### 2.2 清理`__init__.py`冗余代码 删除自定义脚本（如`runner.py`）中重复导入或冗余代码，避免干扰Scrapy内部机制[^4]。 --- ### **3. 修正异步调用逻辑** #### 3.1 避免循环调用与reactor冲突 错误示例中使用了`while True`循环和手动控制reactor，易导致资源冲突： ```python # 错误写法（引用[4]） def crawl(): while True: yield runner.crawl('spider_name') time.sleep(300) reactor.stop() ``` **正确写法**：使用`CrawlerProcess`替代`CrawlerRunner`，并遵循Twisted单reactor原则： ```python from scrapy.crawler import CrawlerProcess from scrapy.utils.project import get_project_settings process = CrawlerProcess(get_project_settings()) process.crawl('spider_name') process.start() # 自动管理reactor，无需手动调用 ``` --- ### **4. 检查包版本兼容性** 更新关键依赖至兼容版本： ```bash pip install --upgrade twisted scrapy pyopenssl ``` - **Twisted**建议版本≥20.3.0 - **Scrapy**建议版本≥2.5.0 --- ### **5. 查看完整错误堆栈** 启用Scrapy详细日志定位具体错误： ```bash scrapy crawl spider_name --loglevel=DEBUG ``` 重点关注堆栈中首次报错位置，如数据库连接、请求队列等[^3]。 --- ### **相关问题** 1. 如何避免Scrapy中的`Deferred`异步错误？ 2. Scrapy项目中`CrawlerProcess`和`CrawlerRunner`有什么区别？ 3. 如何调试Scrapy的`ImportError`问题？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值