scrapy.spider中不同解析函数之间数据的传递之—meta

最新推荐文章于 2022-06-21 00:43:35 发布
最新推荐文章于 2022-06-21 00:43:35 发布
阅读量1.1k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： scrapy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43890188/article/details/88323677 
		def parse_00(self,response):
			yield Request(url,self.parse_01,meta={'item':deepcoy(item)})
		def parse_01(self,response):
			 response.meta['item']
爬虫笔记26：Scrapy案例-爬取腾讯招聘、scrapy.Request(url, meta, callback)中meta参数的作用
微信公众号进阶的阿牛哥的博客
07-06 461
需求：爬取腾讯招聘岗位 、翻页 https://careers.tencent.com/search.html?index=1 如下： 第一步 分析页面 1、数据在哪里获取？ 我们在网页源代码中找下，是否有目标数据： 显然原代码中并没有关于招聘岗位的信息，所以我们不能对该url（https://careers.tencent.com/search.html?index=1）发起并获得响应，再替换page的数字来翻页，进而完成任务。 我们右键检查，在network-XHR中，可以发现下图右下角红框，点击看
Scrapy爬取天气网站历史数据
qq_44800945的博客
06-11 725
疑问部分： start_urls获取内容如果指定其他函数 基础部分 1.创建Scrapy项目 命令行界面 **scrapy startproject 项目名称**就会在当前目录下创建该爬虫项目 2.创建爬虫项目 通过**cd 项目名称进入项目后 使用scrapy genspider 爬虫项目名称 网站域名(后期可改)**命令创建该爬虫（一个项目可以创建多个爬虫） 3.运行爬虫 1.命令行界面**scrapy crawl 爬虫项目名称** 2.在该项目下创建.py文件，这样每次运行爬虫只需要运行此脚本即可（文
向spider中传递参数
weixin_34008933的博客
08-06 255
1.这里采用run.py脚本方式 1 # 通过CrawlerProcess同时运行几个spider 2 import scrapy 3 from scrapy.crawler import CrawlerProcess 4 from scrapy.utils.project import get_project_settings 5 from spiders.test im...
scrapy--meta参数传递问题
weixin_34341117的博客
12-10 1305
scrapy使用大坑---meta参数传递出现之重复问题 问题描述： 　　　　爬虫目标： 　　　　　　　实现哔哩哔哩网站的视频信息爬取，只要的信息结构爬去顺序为**关键词的搜索结果，拿到第一页上某个视频的标题，url，和时间，然后进入下级页面爬去该视频的对应的评论，回复，弹幕，点赞数等等数据，联合组成一个关于该视频的完整信息返回item进行后续处理和存储。 ...
scrapy多页爬虫中根据参数跳转到不同函数进行解析的问题——python字典的使用...
weixin_34332905的博客
07-19 381
2019独角兽企业重金招聘Python工程师标准>>> ...
多爬虫实现之二 -- 爬虫实现多个解析函数
apollo_miracle的博客
12-22 1533
目标 完成spider中如果解析函数调用的封装 掌握getattr的方法 完成通过meta在不通过的解析函数中传递数据的方法 1. 爬虫实现多个解析函数的意义 2 响应对象的解析方法封装 为response对象封装xpath、正则、json、等方法和属性，以支持对数据的解析和提取 # scrapy_plus/http/response.py import re import js...
scrapy中的meta参数的使用
gaochuwu的博客
11-26 6254
scrapy中Request方法中的meta参数有什么用 首先我们要知道meta是一个字典，它的主要作用是用来传递数据的，meta = {‘key1’:value1}，如果想在下一个函数中取出value1, 只需得到上一个函数的meta[‘key1’]即可， 因为meta是随着Request产生时传递的，下一个函数得到的Response对象中就会有meta，即response.meta. #在it...
PS D:\conda_Test\baidu_spider\baidu_spider> scrapy crawl baidu -o realtime.csv 2025-06-26 20:37:39 [scrapy.utils.log] INFO: Scrapy 2.11.1 started (bot: baidu_spider) 2025-06-26 20:37:39 [scrapy.utils.log] INFO: Versions: lxml 5.2.1.0, libxml2 2.13.1, cssselect 1.2.0, parsel 1.8.1, w3lib 2.1.2, Twisted 23.10.0, Python 3.12.7 | packaged by Anaconda, Inc. | (main, Oct 4 2024, 13:17:27) [MSC v.1929 64 bit (AMD64)], pyOpenSSL 24.2.1 (OpenSSL 3.0.16 11 Feb 2025), cryptography 43.0.0, Platform Windows-11-10.0.22631-SP0 2025-06-26 20:37:39 [scrapy.addons] INFO: Enabled addons: [] 2025-06-26 20:37:39 [asyncio] DEBUG: Using selector: SelectSelector 2025-06-26 20:37:39 [scrapy.utils.log] DEBUG: Using reactor: twisted.internet.asyncioreactor.AsyncioSelectorReactor 2025-06-26 20:37:39 [scrapy.utils.log] DEBUG: Using asyncio event loop: asyncio.windows_events._WindowsSelectorEventLoop 2025-06-26 20:37:39 [scrapy.extensions.telnet] INFO: Telnet Password: 40e94de686f0a93d 2025-06-26 20:37:39 [scrapy.middleware] INFO: Enabled extensions: ['scrapy.extensions.corestats.CoreStats', 'scrapy.extensions.telnet.TelnetConsole', 'scrapy.extensions.feedexport.FeedExporter', 'scrapy.extensions.logstats.LogStats'] 2025-06-26 20:37:39 [scrapy.crawler] INFO: Overridden settings: {'BOT_NAME': 'baidu_spider', 'FEED_EXPORT_ENCODING': 'utf-8', 'NEWSPIDER_MODULE': 'baidu_spider.spiders', 'REQUEST_FINGERPRINTER_IMPLEMENTATION': '2.7', 'ROBOTSTXT_OBEY': True, 'SPIDER_MODULES': ['baidu_spider.spiders'], 'TWISTED_REACTOR': 'twisted.internet.asyncioreactor.AsyncioSelectorReactor'} 2025-06-26 20:37:40 [scrapy.middleware] INFO: Enabled downloader middlewares: ['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware', 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', 'scrapy.downloadermiddlewares.retry.RetryMiddleware', 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', 'scrapy.downloadermiddlewares.stats.DownloaderStats'] 2025-06-26 20:37:40 [scrapy.middleware] INFO: Enabled spider middlewares: ['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', 'scrapy.spidermiddlewares.referer.RefererMiddleware', 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', 'scrapy.spidermiddlewares.depth.DepthMiddleware'] 2025-06-26 20:37:40 [scrapy.middleware] INFO: Enabled item pipelines: ['baidu_spider.pipelines.BaiduSpiderPrintPipeline', 'baidu_spider.pipelines.BaiduSpiderPipeline'] 2025-06-26 20:37:40 [scrapy.core.engine] INFO: Spider opened 2025-06-26 20:37:40 [scrapy.core.engine] INFO: Closing spider (shutdown) 2025-06-26 20:37:40 [baidu] INFO: 执行了close_spider方法,项目已经关闭 2025-06-26 20:37:40 [scrapy.utils.signal] ERROR: Error caught on signal handler: <bound method CoreStats.spider_closed of <scrapy.extensions.corestats.CoreStats object at 0x000001BB483C0470>> Traceback (most recent call last): File "D:\anaconda3\Lib\site-packages\scrapy\crawler.py", line 160, in crawl yield self.engine.open_spider(self.spider, start_requests) NameError: name 'baidu_spider' is not defined During handling of the above exception, another exception occurred: Traceback (most recent call last): File "D:\anaconda3\Lib\site-packages\scrapy\utils\defer.py", line 348, in maybeDeferred_coro result = f(*args, **kw) File "D:\anaconda3\Lib\site-packages\pydispatch\robustapply.py", line 55, in robustApply return receiver(*arguments, **named) File "D:\anaconda3\Lib\site-packages\scrapy\extensions\corestats.py", line 30, in spider_closed elapsed_time = finish_time - self.start_time TypeError: unsupported operand type(s) for -: 'datetime.datetime' and 'NoneType' 2025-06-26 20:37:40 [scrapy.statscollectors] INFO: Dumping Scrapy stats: {'log_count/DEBUG': 3, 'log_count/ERROR': 1, 'log_count/INFO': 9} 2025-06-26 20:37:40 [scrapy.core.engine] INFO: Spider closed (shutdown) Unhandled error in Deferred: 2025-06-26 20:37:40 [twisted] CRITICAL: Unhandled error in Deferred: Traceback (most recent call last): File "D:\anaconda3\Lib\site-packages\twisted\internet\defer.py", line 874, in callback self._startRunCallbacks(result) File "D:\anaconda3\Lib\site-packages\twisted\internet\defer.py", line 981, in _startRunCallbacks self._runCallbacks() File "D:\anaconda3\Lib\site-packages\twisted\internet\defer.py", line 1075, in _runCallbacks current.result = callback( # type: ignore[misc] File "D:\anaconda3\Lib\site-packages\twisted\internet\defer.py", line 1946, in _gotResultInlineCallbacks _inlineCallbacks(r, gen, status, context) --- <exception caught here> --- File "D:\anaconda3\Lib\site-packages\twisted\internet\defer.py", line 2000, in _inlineCallbacks result = context.run(gen.send, result) File "D:\anaconda3\Lib\site-packages\scrapy\crawler.py", line 160, in crawl yield self.engine.open_spider(self.spider, start_requests) builtins.NameError: name 'baidu_spider' is not defined 2025-06-26 20:37:40 [twisted] CRITICAL: Traceback (most recent call last): File "D:\anaconda3\Lib\site-packages\twisted\internet\defer.py", line 2000, in _inlineCallbacks result = context.run(gen.send, result) File "D:\anaconda3\Lib\site-packages\scrapy\crawler.py", line 160, in crawl yield self.engine.open_spider(self.spider, start_requests) NameError: name 'baidu_spider' is not defined PS D:\conda_Test\baidu_spider\baidu_spider> 如何解决
06-27
-确保在传递时间戳时，如果使用了`meta`，那么在回调函数中获取时，要考虑到可能不存在的情况（例如，使用`meta.get('start_time',None)`，然后判断是否为`None`）。-一个常见的做法是在传递时间时，确保不会传递`...
PS D:\test\autohome> scrapy crawl car_price 2025-06-08 12:42:28 [scrapy.utils.log] INFO: Scrapy 2.13.0 started (bot: autohome) 2025-06-08 12:42:28 [scrapy.utils.log] INFO: Versions: {'lxml': '5.4.0', 'libxml2': '2.11.9', 'cssselect': '1.3.0', 'parsel': '1.10.0', 'w3lib': '2.3.1', 'Twisted': '24.11.0', 'Python': '3.9.12 (tags/v3.9.12:b28265d, Mar 23 2022, 23:52:46) [MSC v.1929 ' '64 bit (AMD64)]', 'pyOpenSSL': '25.1.0 (OpenSSL 3.5.0 8 Apr 2025)', 'cryptography': '45.0.3', 'Platform': 'Windows-10-10.0.26100-SP0'} 2025-06-08 12:42:28 [scrapy.addons] INFO: Enabled addons: [] 2025-06-08 12:42:28 [asyncio] DEBUG: Using selector: SelectSelector 2025-06-08 12:42:28 [scrapy.utils.log] DEBUG: Using reactor: twisted.internet.asyncioreactor.AsyncioSelectorReactor 2025-06-08 12:42:28 [scrapy.utils.log] DEBUG: Using asyncio event loop: asyncio.windows_events._WindowsSelectorEventLoop 2025-06-08 12:42:28 [scrapy.extensions.telnet] INFO: Telnet Password: bdd184c9d560abb1 2025-06-08 12:42:28 [scrapy.middleware] INFO: Enabled extensions: ['scrapy.extensions.corestats.CoreStats', 'scrapy.extensions.telnet.TelnetConsole', 'scrapy.extensions.logstats.LogStats', 'scrapy.extensions.throttle.AutoThrottle'] 2025-06-08 12:42:28 [scrapy.crawler] INFO: Overridden settings: {'AUTOTHROTTLE_ENABLED': True, 'BOT_NAME': 'autohome', 'DOWNLOAD_DELAY': 1.5, 'FEED_EXPORT_ENCODING': 'utf-8', 'NEWSPIDER_MODULE': 'autohome.spiders', 'ROBOTSTXT_OBEY': True, 'SPIDER_MODULES': ['autohome.spiders']} 2025-06-08 12:42:28 [scrapy.middleware] INFO: Enabled downloader middlewares: ['scrapy.downloadermiddlewares.offsite.OffsiteMiddleware', 'scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware', 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', 'autohome.middlewares.RotateUserAgentMiddleware', 'scrapy.downloadermiddlewares.retry.RetryMiddleware', 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', 'scrapy.downloadermiddlewares.stats.DownloaderStats'] 2025-06-08 12:42:28 [scrapy.middleware] INFO: Enabled spider middlewares: ['scrapy.spidermiddlewares.start.StartSpiderMiddleware', 'scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', 'scrapy.spidermiddlewares.referer.RefererMiddleware', 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', 'scrapy.spidermiddlewares.depth.DepthMiddleware'] 2025-06-08 12:42:34 [scrapy.middleware] INFO: Enabled item pipelines: ['autohome.pipelines.AutohomePipeline'] 2025-06-08 12:42:34 [scrapy.core.engine] INFO: Spider opened 2025-06-08 12:42:34 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) 2025-06-08 12:42:34 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023 2025-06-08 12:42:34 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.autohome.com.cn/robots.txt> (referer: None) 2025-06-08 12:42:42 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.autohome.com.cn/price/> (referer: None) 2025-06-08 12:42:45 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (307) to <GET https://www.autohome.com.cn/price> from <GET https://www.autohome.com.cn/price/2.html> 2025-06-08 12:42:46 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.autohome.com.cn/price> (referer: https://www.autohome.com.cn/price/) 2025-06-08 12:42:48 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (307) to <GET https://www.autohome.com.cn/price> from <GET https://www.autohome.com.cn/price/3.html> 2025-06-08 12:42:48 [scrapy.dupefilters] DEBUG: Filtered duplicate request: <GET https://www.autohome.com.cn/price> - no more duplicates will be shown (see DUPEFILTER_DEBUG to show all duplicates) 2025-06-08 12:42:48 [scrapy.core.engine] INFO: Closing spider (finished) 2025-06-08 12:42:49 [scrapy.statscollectors] INFO: Dumping Scrapy stats: {'downloader/request_bytes': 1299, 'downloader/request_count': 5, 'downloader/request_method_count/GET': 5, 'downloader/response_bytes': 34137, 'downloader/response_count': 5, 'downloader/response_status_count/200': 3, 'downloader/response_status_count/307': 2, 'dupefilter/filtered': 1, 'elapsed_time_seconds': 14.718935, 'finish_reason': 'finished', 'finish_time': datetime.datetime(2025, 6, 8, 4, 42, 49, 346568, tzinfo=datetime.timezone.utc), 'httpcompression/response_bytes': 287648, 'httpcompression/response_count': 2, 'items_per_minute': 0.0, 'log_count/DEBUG': 9, 'log_count/INFO': 10, 'request_depth_max': 2, 'response_received_count': 3, 'responses_per_minute': 12.857142857142858, 'robotstxt/request_count': 1, 'robotstxt/response_count': 1, 'robotstxt/response_status_count/200': 1, 'scheduler/dequeued': 4, 'scheduler/dequeued/memory': 4, 'scheduler/enqueued': 4, 'scheduler/enqueued/memory': 4, 'start_time': datetime.datetime(2025, 6, 8, 4, 42, 34, 627633, tzinfo=datetime.timezone.utc)} 2025-06-08 12:42:49 [scrapy.core.engine] INFO: Spider closed (finished) 运行后出现这个报错
06-09
导致爬取无效数据2.**重复请求过滤**-Scrapy内置`DUPEFILTER_CLASS`（默认为`RFPDupeFilter`）会过滤重复URL-可能出现的问题：a)不同参数但相同URL的请求被误过滤（如分页参数在片段标识中）b)动态生成的URL因包含...
scrapy.follow函数的使用
最新发布
09-01
根据引用[5]中提到的，在 spider 中，我们通常会解析网页并返回新的请求（Request）或者数据（Item）。而生成新的请求通常有两种方式： 1. 使用 `scrapy.Request` 类，需要传入 URL 和回调函数。 2. 使用 `...
详解向scrapy中的spider传递参数的几种方法(2种)
12-16
有时需要根据项目的实际需求向spider传递参数以控制spider的行为，比如说，根据用户提交的url来控制spider爬取的网站。在这种情况下，可以使用两种方法向spider传递参数。 第一种方法，在命令行用crawl控制spider爬取的时候，加上-a选项，例如： scrapy crawl myspider -a category=electronics 然后在spider里这样写： import scrapy class MySpider(scrapy.Spider): name = 'myspider' def __init__(self, category=None,
Scrapy下网络爬虫
tingyuanss的专栏
05-21 2万+
Scrapy是一个抓取网站的框架，用户需要做的只是定义抓取网站的spider，并在其中定义抓取的规则，获取需要抓取的数据，Scrapy管理其他复杂的工作，比如并发请求，提取之后的数据保存等。 Scrapy 声称他们“偷取”了Django的灵感，虽然两者的方向怎么都联系不到一起去，但是确实如果对Django有了解，对Scrapy的结构会感到很亲切。 Scrapy也会有项目的概念，一个项目里面可以包
【爬虫】scrapy数据解析
qq_36182852的博客
08-16 554
爬取如下： 步骤： 爬虫代码： import scrapy class QiubaiSpider(scrapy.Spider): name = 'qiubai' # allowed_domains = ['www.xxx.com'] start_urls = ['https://www.qiushibaike.com/text/'] def parse(self, response): # 解析作者名称、段子内容 d...
python—scrapy数据解析、存储
qq_34577961的博客
03-26 1060
基本操作：python-scrapy爬虫框架基本使用_郑*杰的博客-优快云博客 数据解析 当前文件 ：D:\python_test\scrapyProject\scrapyProject\spiders\first.py import scrapy class FirstSpider(scrapy.Spider): name = 'first' start_urls = ['https://ishuo.cn/duanzi'] def parse(self, re
scrapy.Request() 的 meta参数 数据的传递
侯小啾技术博客
06-21 908
在既需要解析列表页，有需要解析详情页的情况下时， 以 以下模板代码为例，因为原本只在parse函数中定义了ABC类的实例化对象item， 所以这需要将item从parse()函数中传递到parse_detail()函数中，才能继续将数据收入item中，然后一块儿传递出去。这需要用到scrapy.Request()的 meta 参数。...
爬虫系列：Scrapy的三种解析方式你都清楚吗？
weixin_54667422的博客
06-05 1833
目录🍉Scrapy的三种数据解析方式🌵xpath选择器🌵CSS选择器🌵正则匹配 🍉dome🌴spider.py🌴itmes.py🌴pipeline.py 🍉结束 Scrapy 提供了自己的数据提取方法，即 Selector（选择器）。Selector 是基于 lxml 来构建的，支持 XPath 选择器、CSS 选择器以及正则表达式，功能全面，解析速度和准确度非常高。 测试用例 构建一个对象 提取a节点 提取 a 节点内包含的 img 节点 ...
Python爬虫框架scrapy.Request()函数中meta参数的作用和使用方法
Python美丽星球--微信(Felixzfb)
03-13 9292
初学scrapy可能会有点蒙圈，今天和大家分享下scrapy中Request方法中meta参数的用法 ： 我们要知道meta参数对应的值必须是一个字典 它的主要作用是用来传递数据的 meta是通过Request产生时传进去， 通过Response对象中取出来 先看一个简单的例子 然后查看两个爬虫实例，进一步理解meta参数的使用： 实例1 第一层爬取已经获得了一个Item对象，Item对象是...
向scrapy中的spider传递参数的几种方法
热门推荐
02-26 4万+
有时需要根据项目的实际需求向spider传递参数以控制spider的行为，比如说，根据用户提交的url来控制spider爬取的网站。在这种情况下，可以使用两种方法向spider传递参数。 第一种方法，在命令行用crawl控制spider爬取的时候，加上-a选项，例如： scrapy crawl myspider -a category=electronics 然后在spider里这样写：
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值