scrapy框架使用splash出现raise ValueError('Missing scheme in request url: %s' % self._url)

最新推荐文章于 2024-12-18 05:46:19 发布
原创 最新推荐文章于 2024-12-18 05:46:19 发布 · 779 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#爬虫

本文描述了在编写爬虫过程中遇到的URL Scheme缺失错误，即使URL中已包含'http:'，通过检查发现是因为使用splash进行渲染时，splash地址配置缺少scheme。文章提供了正确的配置方法，即确保splash地址中有'http:'前缀。

今天在写一个爬虫demo的时候出现如下错误：

raise ValueError('Missing scheme in request url: %s' % self._url)

按照字面意思便是URL有问题，缺少scheme, 于是边检查请求的url，但是反复确认后发现请求地址正常的，而且有'http:'的头，经过反复检查，终于发现原因：由于我使用了splash进行渲染，配置splash地址的时候缺少了scheme

 

解决方法：添加上头部，按注释掉的那一行配置即可

【Python爬虫必备—＞Scrapy框架快速入门篇——上】
孤寒者的博客
08-09 65万+
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
Scrapy源码分析（四）：请求Request
zcy19941015的博客
12-17 6906
本次我们要分析的Scrapy源码为Request模块，模块的位置： from scrapytest.http import Request 首先把Request的源码附上： class Request(object_ref): def __init__(self, url, callback=None, method='GET', headers=None, body=None,
新版本scrapy爬取图片报错raise ValueError(f“Missing scheme in request url: {self._url}“)
jerses的博客
10-18 193
是由于使用新版本的scrapy不兼容。运行下面两行就解决了！
scrapy 错误：Missing scheme in request url: %s' % self._url
weixin_30872867的博客
06-07 576
先说报错原因：使用了和start_urls同名的参数 我通过scral crawl projename -a start_urls=http:example.com来传start_urls，然后想在项目中初始化spider类的时候，添加抓取URL，代码如下： class xxxxSpider(CrawlSpider): name = 'xxxx' allowed_domains =...
爬虫出现raise ValueError('Missing scheme in request url: %s' % self._url)
hannah___的博客
05-03 743
1、Missing scheme in request url: h url没有加[]，返回的是html article_item["front_image_url"] = [response.meta.get("front_image_url"," ")] 2、""之间没有留空格 article_item["front_image_url"] = [response.meta.get(...
解决ValueError('Missing scheme in request url: %s' % self._url)
热门推荐
Super涌
06-04 2万+
使用scrapy的ImagesPipeline爬取图片的时候，运行报错 Traceback (most recent call last): File "/home/lcy/.local/lib/python2.7/site-packages/twisted/internet/defer.py", line 653, in _runCallbacks current.result =
解决scrapy ValueError('Missing scheme in request url: %s' % self._url)
笑笑布丁的博客
07-09 829
解决scrapy ValueError(‘Missing scheme in request url: %s’ % self._url) 当start_urls = [‘https://www.ae.com/us/en/c/women/’, ] 最后一个元素，需要加上逗号。
爬取数据时出现raise ValueError, "unknown url type: %s" % self.__original
qq_43030773的博客
02-13 1万+
解决raise ValueError, “unknown url type: %s” % self.__original 2019-02-13 12:10:26 [scrapy.utils.log] INFO: Scrapy 1.5.2 started (bot: tencent) 2019-02-13 12:10:26 [scrapy.utils.log] INFO: Versions: lxm...
ValueError: Missing scheme in request url: scrapy 爬取图片的报错解决方案
sddr_circle的博客
05-24 1925
用python的scrapy框架爬取图片时，运行报错信息如下： ValueError: Missing scheme in request url: //cdn.shopify.com/s/files/1/1182/9792/products/ARD1040_3_100x.jpg?v=1527112369 2018-05-24 23:02:44 [scrapy.core.scraper] ER...
爬取图片过程遇到的ValueError: Missing scheme in request url: h 报错与解决方法
weixin_30323631的博客
12-25 844
一 、scrapy整体框架 1.1 scrapy框架图 　　 1.2 scrapy框架各结构解析 　　item：保存抓取的内容 　　spider：定义抓取内容的规则，也是我们主要编辑的文件 　　pipelines：管道作用，用来定义如何过滤、存储等功能（比如导出到csv或者mysql等功能） 　　settings：配置例如ITEM_PIPELINES 、图片存储位置等等功能 ...
raise ValueError('Missing scheme in request url: %s' % self._url) ValueError: Missing scheme in requ
啦啦啦啦啦啦
01-24 1044
错误：raise ValueError(‘Missing scheme in request url: %s’ % self._url) ValueError: Missing scheme in request url: h 解决办法：pipeline里面的i=imageurl需要放到一个列表里面，我写成了字符串，所以报错 ...
关于解决ValueError('Missing scheme in request url: %s' % self._url)
qq_39209915的博客
07-22 8150
初级小白在写scrapy爬虫是遇到了，一个关于valueError的问题： 前期在网上找了跟多的资料，结果都是说关于一下几种解决方案： --按提示是Request队列安排错误  --有些说法是pywin32包没有安装到对应版本 其实归根结底的来说如果不是pywin32没有安装或者版本的错误的话，一般是start_url的问题，它应该是列表而不是元组，而关于列表，当列表中只有一个元素时最后...
scrapy下载图片时，图片链接报错Missing scheme in request url: %s' % self._url
蜡笔小心
08-18 3060
抓取的URL存下来的时候可能为字符串，scrapy提取的时候只提取到第一个字母 h 。 解决方案： image_url = post_node.css('dt.img a img::attr(onerror)').extract_first('') # 获取图片 front_image_url = [image_url if 'http:' in image_url else ('h
scrapy坑一 ValueError('Missing scheme in request url: %s' % self._url)
qiweiqian的博客
04-12 2913
之前在学习scrapy时曾碰到这样一个错误，如标题所示。查了一下，网上的答案基本上都是说start_urls应该是个list而不是string。但是我不是这个问题。我当时是在爬取的页面中，提取出的url被直接加载到了item中，因此在后面的yield request的时候，url=item['url']，然而这是错的。切记切记，item虽然很像dict，但不能直接当dict用。...
持续更新scrapy的错误，ValueError: Missing scheme in request url:
weixin_30319153的博客
04-18 257
只需要将 for href in response.xpath('XX').extract(): yield Request(hrefs) 修改为下面，就可以显示出来 for href in response.xpath('XX').extract(): ...
解决scrapy中创建请求，部分url丢失的情况
weixin_44926231的博客
04-18 1104
解决scrapy中创建请求，部分url丢失的情况验证 先感受一下发生的问题 def parse(self, response): # print(response.text) book_url = response.xpath('//*[@class="r"]/ul/li/span[1]/a/@href').extract() print(l...
Scrapy框架的使用之Scrapy对接Splash_splash_url
最新发布
2401_89224864的博客
12-18 960
可以参考Scrapy-Splash的配置说明进行一步步的配置，链接如下：https://github.com/scrapy-plugins/scrapy-splash#configuration。修改settings.py，配置SPLASH_URL。在这里我们的Splash是在本地运行的，所以可以直接配置本地的地址：如果Splash是在远程服务器运行的，那此处就应该配置为远程的地址。
scrapy中遇到的ValueError: Missing scheme in request url:问题解决
Slim's Hello World
10-18 4969
昨天在爬寻医问药网站的时候出现了一个没有遇到过的问题： ValueError: Missing scheme in request url: 查了百度，bings都没能解决，归纳起来网上的解决办法围绕的都是图片路径等详细问题，归根结底就是url并不完整，可以单纯地通过： url = "http"+response.xpath("....")[0] 这样的方式解决。 解决办法 然鹅，我的代码...
ValueError(f"Missing scheme in request url: {self._url}")
06-11
这个错误通常是由于请求的 URL 中缺少协议（比如 http 或 https）导致的。例如，如果使用了一个类似于 "www.example.com" 的 URL，而没有指定协议，则...response = scrapy.Request(url=url, callback=self.parse) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值