Scrapy学习过程之四：Feed Export

最新推荐文章于 2021-11-03 22:18:29 发布
原创 最新推荐文章于 2021-11-03 22:18:29 发布 · 1.1k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Scrapy

本文介绍了Scrapy的数据导出流程，包括Serialization formats如JSON、CSV等，Storages如Local Filesystem、FTP、S3，并详细讲解了FEED_URI、FEED_FORMAT等设置参数，以及如何自定义存储后端和序列化方式。

参考：https://docs.scrapy.org/en/latest/topics/feed-exports.html#topics-feed-exports

整体架构图：

Scrapy architecture

SPIDER提取出的数据是dict，从上图可以看出，会将这些数据发送给ENGINE，然后ENGINE再将数据交给ITEM PIPELINES。

Serialization formats

Scrapy提供了几种内置的方法，能将dict转换成常见的数据格式，开箱即用。

  • JSON
  • JSON Line
  • CSV
  • XML

以上是Scrapy内置的序列化dict的方法，开发者也可以通过设置FEED_EXPORTERS进行自定义扩展，稍后展开，这个东西就是设置一个开发者自己实现的一个EXPORTER。

Storages

格式转换有了，接下来就是把转换好的数据存放在什么地方的问题。Scrapy通过设置一个URI指定，参数是FEED_URL，稍后展开。

Scrapy支持的内置存储后端类型：

  • Local Filesystem
  • FTP
  • S3
  • Standard Output

有些存储后端需要另外安装依赖包，如S3需要安装botocore与boto。

Storage URI parameters

设置存储后端的URI可以包含可替换点位符，当真正写数

最低0.47元/天 解锁文章
Scrapy爬虫框架 Feed exports 数据文件输出
Mr数据杨
02-01 3万+
在本教程中我们详细探讨了 Scrapy 2.6 版本中 Feed exports 数据文件输出的各个关键环节。通过这些内容，你已经了解了如何灵活地选择和配置不同的序列化格式、存储方式，以及如何通过数据过滤和提交处理来确保数据的质量和可用性。掌握这些技能后，你将能够根据具体的项目需求，自如地调整和优化数据输出流程，确保数据的完整性、准确性和实用性。无论是简单的本地存储，还是复杂的云端解决方案，Scrapy 都为你提供了足够的工具和灵活性，让你在数据抓取项目中游刃有余。
Scrapy框架 Feed exports 数据文件输出应用案例
Mr数据杨
10-26 259
在网络数据采集领域，Scrapy 是一个非常流行和强大的爬虫框架。无论是抓取网页数据，还是将数据以各种格式保存，Scrapy 都提供了强大的支持。在抓取完数据后，如何高效地将数据导出为所需的格式（如 JSON、CSV、XML 等）是每个开发者都需要掌握的重要技能之一。Scrapy 的 Feed Exports 功能为此提供了简单且灵活的解决方案。
Scrapy爬虫入门教程十 Feed exports（导出文件）
inke的博客
03-07 9478
Scrapy爬虫入门教程十 Feed exports（导出文件）
Scrapy: Feed exports
AI路漫漫
06-19 697
啥也没看懂欸，，，
Scrapy1.5基本概念（八）——Feed exports
ReganDu的博客
01-04 712
本文为译文，原文见地址：https://docs.scrapy.org/en/latest/topics/feed-exports.html Feed exports 于版本0.10中新增。 在实现Scrapy时，最常用特性之一是能够正确地存储爬取到的数据，这通常意味着生成一个“导出文件”，其中包含了爬取到的数据（通常被称为“到处提要（export feed）”），以供其他系统使用。 Scra...
Scrapy学习笔记VIII--Feed exports
qq_30717683的博客
04-12 1381
当爬取完数据后，可以产生一个“export file”（输出文件）–>export feed(反馈报告)，可以被其他系统所使用消耗scrapy提供 Feed Exports，可以为items产生一个feed（文件如json，CSV，xml等），然后格式化的存储到后端Serialization formats 当你爬取数据后，想把数据保存在本地路径（如json格式）或者其他地方，scrapy 使用（
PS D:\Experience\Myproject> scrapy crawl demo 2025-08-15 17:50:58 [scrapy.utils.log] INFO: Scrapy 2.13.3 started (bot: Myproject) 2025-08-15 17:50:58 [scrapy.utils.log] INFO: Versions: {'lxml': '6.0.0', 'libxml2': '2.11.9', 'cssselect': '1.3.0', 'parsel': '1.10.0', 'w3lib': '2.3.1', 'Twisted': '25.5.0', 'Python': '3.11.7 (tags/v3.11.7:fa7a6f2, Dec 4 2023, 19:24:49) [MSC v.1937 ' '64 bit (AMD64)]', 'pyOpenSSL': '25.1.0 (OpenSSL 3.5.1 1 Jul 2025)', 'cryptography': '45.0.5', 'Platform': 'Windows-10-10.0.26100-SP0'} 2025-08-15 17:50:58 [scrapy.addons] INFO: Enabled addons: [] 2025-08-15 17:50:58 [asyncio] DEBUG: Using selector: SelectSelector 2025-08-15 17:50:58 [scrapy.utils.log] DEBUG: Using reactor: twisted.internet.asyncioreactor.AsyncioSelectorReactor 2025-08-15 17:50:58 [scrapy.utils.log] DEBUG: Using asyncio event loop: asyncio.windows_events._WindowsSelectorEventLoop 2025-08-15 17:50:58 [scrapy.extensions.telnet] INFO: Telnet Password: 03f3c389c88275d3 2025-08-15 17:50:58 [scrapy.middleware] INFO: Enabled extensions: ['scrapy.extensions.corestats.CoreStats', 'scrapy.extensions.telnet.TelnetConsole', 'scrapy.extensions.logstats.LogStats'] 2025-08-15 17:50:58 [scrapy.crawler] INFO: Overridden settings: {'BOT_NAME': 'Myproject', 'CONCURRENT_REQUESTS_PER_DOMAIN': 1, 'DOWNLOAD_DELAY': 1, 'FEED_EXPORT_ENCODING': 'utf-8', 'NEWSPIDER_MODULE': 'Myproject.spiders', 'ROBOTSTXT_OBEY': True, 'SPIDER_MODULES': ['Myproject.spiders']} 2025-08-15 17:50:58 [asyncio] DEBUG: Using proactor: IocpProactor 2025-08-15 17:50:58 [scrapy-playwright] INFO: Started loop on separate thread: <ProactorEventLoop running=True closed=False debug=False> 2025-08-15 17:50:59 [scrapy.middleware] INFO: Enabled downloader middlewares: ['scrapy.downloadermiddlewares.offsite.OffsiteMiddleware', 'scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware', 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', 'Myproject.middlewares.MyprojectDownloaderMiddleware', 'scrapy.downloadermiddlewares.retry.RetryMiddleware', 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', 'scrapy.downloadermiddlewares.stats.DownloaderStats'] 2025-08-15 17:50:59 [scrapy.middleware] INFO: Enabled spider middlewares: ['scrapy.spidermiddlewares.start.StartSpiderMiddleware', 'scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', 'scrapy.spidermiddlewares.referer.RefererMiddleware', 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', 'scrapy.spidermiddlewares.depth.DepthMiddleware'] 2025-08-15 17:50:59 [scrapy.middleware] INFO: Enabled item pipelines: [] 2025-08-15 17:52:18 [scrapy.core.engine] INFO: Spider opened 2025-08-15 17:52:18 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) 2025-08-15 17:52:18 [demo] INFO: Spider opened: demo 2025-08-15 17:52:18 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023 2025-08-15 17:52:18 [scrapy-playwright] INFO: Starting download handler 2025-08-15 17:52:18 [scrapy-playwright] INFO: Starting download handler 2025-08-15 17:52:59 [scrapy.crawler] INFO: Received SIGINT, shutting down gracefully. Send again to force 2025-08-15 17:52:59 [scrapy.core.engine] INFO: Closing spider (shutdown) 2025-08-15 17:52:59 [scrapy.core.engine] DEBUG: Crawled (404) <GET http://quotes.toscrape.com/robots.txt> (referer: None) 2025-08-15 17:53:00 [scrapy-playwright] INFO: Launching browser chromium 2025-08-15 17:53:00 [scrapy-playwright] INFO: Browser chromium launched 2025-08-15 17:53:00 [scrapy-playwright] DEBUG: Browser context started: 'default' (persistent=False, remote=False) 2025-08-15 17:53:00 [scrapy-playwright] DEBUG: [Context=default] New page created, page count is 1 (1 for all contexts) 2025-08-15 17:53:00 [scrapy-playwright] DEBUG: [Context=default] Request: <GET http://quotes.toscrape.com/> (resource type: document) 2025-08-15 17:53:03 [scrapy-playwright] DEBUG: [Context=default] Response: <200 http://quotes.toscrape.com/> 2025-08-15 17:53:03 [scrapy-playwright] DEBUG: [Context=default] Request: <GET http://quotes.toscrape.com/static/bootstrap.min.css> (resource type: stylesheet, referrer: http://quotes.toscrape.com/) 2025-08-15 17:53:03 [scrapy-playwright] DEBUG: [Context=default] Request: <GET http://quotes.toscrape.com/static/main.css> (resource type: stylesheet, referrer: http://quotes.toscrape.com/) 2025-08-15 17:53:04 [scrapy-playwright] DEBUG: [Context=default] Response: <200 http://quotes.toscrape.com/static/main.css> 2025-08-15 17:53:04 [scrapy-playwright] DEBUG: [Context=default] Response: <200 http://quotes.toscrape.com/static/bootstrap.min.css> 2025-08-15 17:53:04 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://quotes.toscrape.com> (referer: None) ['playwright'] 2025-08-15 17:53:04 [demo] INFO: Parsing page: http://quotes.toscrape.com/ 2025-08-15 17:53:04 [scrapy.statscollectors] INFO: Dumping Scrapy stats: {'downloader/request_bytes': 450, 'downloader/request_count': 2, 'downloader/request_method_count/GET': 2, 'downloader/response_bytes': 11489, 'downloader/response_count': 2, 'downloader/response_status_count/200': 1, 'downloader/response_status_count/404': 1, 'elapsed_time_seconds': 45.949575, 'finish_reason': 'shutdown', 'finish_time': datetime.datetime(2025, 8, 15, 9, 53, 4, 931829, tzinfo=datetime.timezone.utc), 'items_per_minute': 0.0, 'log_count/DEBUG': 14, 'log_count/INFO': 18, 'playwright/browser_count': 1, 'playwright/context_count': 1, 'playwright/context_count/max_concurrent': 1, 'playwright/context_count/persistent/False': 1, 'playwright/context_count/remote/False': 1, 'playwright/page_count': 1, 'playwright/page_count/max_concurrent': 1, 'playwright/request_count': 3, 'playwright/request_count/method/GET': 3, 'playwright/request_count/navigation': 1, 'playwright/request_count/resource_type/document': 1, 'playwright/request_count/resource_type/stylesheet': 2, 'playwright/response_count': 3, 'playwright/response_count/method/GET': 3, 'playwright/response_count/resource_type/document': 1, 'playwright/response_count/resource_type/stylesheet': 2, 'response_received_count': 2, 'responses_per_minute': 2.6666666666666665, 'robotstxt/request_count': 1, 'robotstxt/response_count': 1, 'robotstxt/response_status_count/404': 1, 'scheduler/dequeued': 1, 'scheduler/dequeued/memory': 1, 'scheduler/enqueued': 1, 'scheduler/enqueued/memory': 1, 'start_time': datetime.datetime(2025, 8, 15, 9, 52, 18, 982254, tzinfo=datetime.timezone.utc)} 2025-08-15 17:53:04 [scrapy.core.engine] INFO: Spider closed (shutdown) 2025-08-15 17:53:04 [scrapy-playwright] INFO: Closing download handler 2025-08-15 17:53:04 [scrapy-playwright] DEBUG: Browser context closed: 'default' (persistent=False, remote=False) 2025-08-15 17:53:04 [scrapy-playwright] INFO: Closing browser 2025-08-15 17:53:04 [scrapy-playwright] DEBUG: Browser disconnected 2025-08-15 17:53:05 [scrapy-playwright] INFO: Closing download handler PS D:\Experience\Myproject>
最新发布
08-16
从你提供的日志信息来看，你运行了一个名为 `demo` 的 Scrapy 爬虫项目，并使用了 `scrapy-playwright` 来启用浏览器渲染功能。爬虫成功访问了 `http://quotes.toscrape.com/` 并抓取了网页内容，但没有输出任何数据...
(.venv) PS D:\大数据与可视化开发\PythonProject\PythonProject1\WeatherScrapy> scrapy crawl weatherscrapy 2025-04-26 08:47:23 [scrapy.utils.log] INFO: Scrapy 2.12.0 started (bot: WeatherScrapy) 2025-04-26 08:47:23 [scrapy.utils.log] INFO: Versions: lxml 5.4.0.0, libxml2 2.11.9, cssselect 1.3.0, parsel 1.10.0, w3lib 2.3.1, Twisted 24.11.0, P ython 3.13.0 (tags/v3.13.0:60403a5, Oct 7 2024, 09:38:07) [MSC v.1941 64 bit (AMD64)], pyOpenSSL 25.0.0 (OpenSSL 3.4.1 11 Feb 2025), cryptography 44.0.2, Platform Windows-11-10.0.26100-SP0 2025-04-26 08:47:23 [scrapy.addons] INFO: Enabled addons: [] 2025-04-26 08:47:23 [scrapy.extensions.telnet] INFO: Telnet Password: c11236bdfdca3216 2025-04-26 08:47:23 [scrapy.middleware] INFO: Enabled extensions: ['scrapy.extensions.corestats.CoreStats', 'scrapy.extensions.telnet.TelnetConsole', 'scrapy.extensions.logstats.LogStats'] 2025-04-26 08:47:23 [scrapy.crawler] INFO: Overridden settings: {'BOT_NAME': 'WeatherScrapy', 'DOWNLOAD_DELAY': 1, 'FEED_EXPORT_ENCODING'
04-28
好的，我现在需要帮助用户解决Scrapy爬虫运行时出现的KeyError: 'weatherscrapy'的问题。用户之前已经询问过类似的问题，并且我给出了详细的解决方案，但用户可能在实际操作中遇到了其他问题，或者之前的方案没有...
Scrapy——Feed exports
mashaokang1314的博客
09-19 445
实现爬虫时最经常提到的需求就是能合适的保存爬取到的数据，或者说，生成一个带有爬取数据的“输出文件”，来供其它系统使用。 Scrapy自带了Feed输出，并且支持多种序列化格式及存储方式。 序列化方式 feed 输出使用到了Item exporters。其自带的类型有： JSON JSON lines CSV XML 也可以通过FEED_EXPORTERS设置扩展支持的属性。 JSON FEE...
Python爬虫笔记（十二）——Scrapy官方文档阅读——Feed exports
菜到怀疑人生的博客
08-09 999
Feed exports用于处理数据的存储 Scrapy提供了开箱即用的数据存储格式： JSON 使用的Feed_exports:JsonItemExporter JSON lines 使用Feed_exports： JsonLinesItemExporter CSV 使用Feed_exports： CsvItemExporter XML 使用Feed_exports： XmlItem...
初识 Scrapy - Feed导出
besmarterbestronger的博客
07-03 778
文章目录序列化格式JSONJSON linesCSVXMLPickleMarshal存储本地文件系统FTPS3标准输出设置 在实现scraper时，最经常需要的功能之一是能够正确地存储被抓取的数据，这通常意味着用被抓取的数据（通常称为“导出提要”）生成一个“导出文件”，供其他系统使用。 Scrapy通过Feed导出提供了这样一个开箱即用的功能。允许你根据抓取的items使用多种序列化格式和存储后端生成feeds。 序列化格式 JSON JSON lines CSV XML Pickle Marshal 存储
Scrapy笔记：持久化，Feed exports的使用
dinght2000的博客
05-10 382
首先要明确的是，其实所有的FeedExporter都是类，里面封装了一般进行io操作的方法。因此，要怎么输出呢？其实从技术实现来说，在生成item的每一步调用其进行储存都是可以的，只不过为了更加符合scrapy的架构，一般都是在Pipeline中使用FeedExporter的。 每一个Exporter的使用都是类似的： 在settings.py中写入相应的配置， 在pipeline...
scrapy 存为csv时是按首字母排序的，解决：FEED_EXPORT_FIELDS
small_Dr的博客
11-03 394
scrapy 存为csv时是按首字母排序的，解决：FEED_EXPORT_FIELDS 在setting.py中添加自定义顺序 FEED_EXPORT_FIELDS = [ 'name', 'comments', 'popular', 'feet', 'art', 'taste', ] 结果就是按我们设定的顺序，找了很多种方法，这个是最简单的。 name,comments,popular,feet,art,taste 熬虾油,31,15414,5,炒,其它口
【爬虫】Scrapy Feed Exports
sinat_40431164的博客
07-31 510
【原文链接】https://doc.scrapy.org/en/latest/topics/feed-exports.html#topics-feed-exports   Feed exports New in version 0.10. One of the most frequently required features when implementing scrapers is b...
python爬虫scrapy框架无法生成csv文件是怎么回事_[python爬虫] xpath没错，但运用scrapy框架无法爬到数据...
weixin_39947908的博客
11-21 288
初学scrapy，我用python爬虫时使用scrapy框架爬取‘简书’的一些内容运行爬虫后，爬虫就关闭了，但什么内容都没爬取到网上类似的问答基本都说是xpath错了，导致无法抓取到数据但我用其他方法，相同的xpath能爬取到数据代码都在下面，求帮忙看看，谢谢文件目录如下：.├── jianshu_spider│ ├── __init__.py│ ├── __pycache__│ │...
爬虫：Scrapy9 - Feed exports
weixin_30497527的博客
09-18 224
实现爬虫时最经常提到的需求就是能合适的保存爬取到的数据，或者说，生成一个带有爬取数据的“输出文件”（通常叫“输出 feed”），来供其它系统使用。 Scrapy 自带了 Feed 输出，并且支持多种序列化格式（serialization format）及存储方式（storage backends）。 序列化方式（serialization formats） feed 输出使用到了 Item ...
Scrapy设置之Feeds
04-10 4155
Scrapy提供了Feed Exports来保存抓取到的Item，Feed Exports有几种序列化格式和几种存储方式。存储方式：本地文件系统、FTP、S3、标准输出。由FEED_URI选项指定。FEED_URI里面可以有命令参数，例如，ftp://user:password@ftp.example.com/scraping/feeds/%(name)s/%(time)s.json其中，time由
Scrapy框架之Feed exports输出路径及文件格式配置：
weixin_43343144的博客
02-23 1317
项目名scrapy_first/settings.py配置 文件导出的路径当前目录下的export_data文件下 FEED_URI = "export_data/%(name)s_%(time)s.json" 输出文件的格式类型(JSON、CSV、XML) FEED_FORMAT = "json" 输出文本编码格式(json默认格式不是utf-8) FEED_EXPORT_ENCODI...
Scrapy爬虫之中文乱码问题
自封的羽球大佬
08-28 9833
问题描述： I. #这是.csv格式的文件，有中文乱码现象。 [root@Uu jianshu]# cat jianshu.csv url,title,author http://www.jianshu.com/p/2a7a594816e1,彖浣犳 村?鏍? [root@Uu jianshu]# ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值