解决ValueError('Missing scheme in request url: %s' % self._url)

最新推荐文章于 2024-10-18 17:59:56 发布
最新推荐文章于 2024-10-18 17:59:56 发布
阅读量2w 收藏 9
点赞数 3
CC 4.0 BY-SA版权
分类专栏： python爬虫学习 文章标签： scrapy ImagesPipeline
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/LCYong_/article/details/72858453

使用scrapy的ImagesPipeline爬取图片的时候，运行报错

Traceback (most recent call last):
  File "/home/lcy/.local/lib/python2.7/site-packages/twisted/internet/defer.py", line 653, in _runCallbacks
    current.result = callback(current.result, *args, **kw)
  File "/home/lcy/.local/lib/python2.7/site-packages/scrapy/pipelines/media.py", line 62, in process_item
    requests = arg_to_iter(self.get_media_requests(item, info))
  File "/home/lcy/.local/lib/python2.7/site-packages/scrapy/pipelines/images.py", line 147, in get_media_requests
    return [Request(x) for x in item.get(self.images_urls_field, [])]
  File "/home/lcy/.local/lib/python2.7/site-packages/scrapy/http/request/__init__.py", line 25, in __init__
    self._set_url(url)
  File "/home/lcy/.local/lib/python2.7/site-packages/scrapy/http/request/__init__.py", line 57, in _set_url
    raise ValueError('Missing scheme in request url: %s' % self._url)
ValueError: Missing scheme in request url: h

查找了相关的文档，了解到使用ImagesPipeline传入的url地址必须是一个list，在传入一个list的时候pipeline处理的速度要快得多，而我写的是一个字符串，所以报错，所以我们需要修改一下传入的url格式就行了



源码附上：

修改前：

# -*- coding: utf-8 -*-
import scrapy
from imgspider.items import QiubaiPicItem
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )
class QiubaipicSpider(scrapy.Spider):
    name = "qiubaiPic"
    allowed_domains = ["qiushibaike.com"]
    start_urls = ['http://qiushibaike.com/']

    def parse(self, response):
        # page_value=response.xpath('//*[@id="content-left"]/ul/li[8]/a/span/text()').extract()[0]
        # for page in range(1,int(page_value)):
        #     url='http://www.qiushibaike.com/pic/page/'+str(page)
        #     yield scrapy.Request(url,callback=self.parse_detail)

        url='http://www.qiushibaike.com/pic/page/3'
        yield scrapy.Request(url,callback=self.parse_detail)

    def parse_detail(self,response):
        item=[]  
        divs=response.xpath('//*[@id="content-left"]/div[@class="article block untagged mb15"]')
        for div in divs:
            QiubaiPic=QiubaiPicItem()
            src=div.xpath('div[@class="thumb"]/a/img/@src').extract()[0]
            img_path='http://'+src[2:]   
            QiubaiPic['img']=img_path
            item.append(QiubaiPic)
        return item





修改后：

# -*- coding: utf-8 -*-
import scrapy
from imgspider.items import QiubaiPicItem
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )
class QiubaipicSpider(scrapy.Spider):
    name = "qiubaiPic"
    allowed_domains = ["qiushibaike.com"]
    start_urls = ['http://qiushibaike.com/']

    def parse(self, response):
        # page_value=response.xpath('//*[@id="content-left"]/ul/li[8]/a/span/text()').extract()[0]
        # for page in range(1,int(page_value)):
        #     url='http://www.qiushibaike.com/pic/page/'+str(page)
        #     yield scrapy.Request(url,callback=self.parse_detail)

        url='http://www.qiushibaike.com/pic/page/3'
        yield scrapy.Request(url,callback=self.parse_detail)

    def parse_detail(self,response):
        item=[]
        img_paths=[]
        divs=response.xpath('//*[@id="content-left"]/div[@class="article block untagged mb15"]')
        for div in divs:
            QiubaiPic=QiubaiPicItem()
            src=div.xpath('div[@class="thumb"]/a/img/@src').extract()[0]
            img_path='http://'+src[2:]
            img_paths.append(img_path)
        QiubaiPic['img']=img_paths
        item.append(QiubaiPic)
        return item


setting.py文件 

# -*- coding: utf-8 -*-

import random

BOT_NAME = 'imgspider'

SPIDER_MODULES = ['imgspider.spiders']
NEWSPIDER_MODULE = 'imgspider.spiders'
#浏览器请求头，这个必须要有
USER_AGENT_LIST=[
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
    "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
    "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
    "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
    "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1" \
    "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11", \
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6", \
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6", \
    "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1", \
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5", \
    "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5", \
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3", \
    "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3", \
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3", \
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3", \
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3", \
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3", \
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3", \
    "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3", \
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3", \
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24", \
    "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"

]
ua= random.choice(USER_AGENT_LIST)
if ua:
    USER_AGENT =ua
    print ua
else:
    USER_AGENT="Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"

#是否遵循robots协定
ROBOTSTXT_OBEY = False
#线程数量
CONCURRENT_REQUESTS = 32
#下载延迟单位秒
DOWNLOAD_DELAY = 3
#cookies开关，建议禁用
COOKIES_ENABLED = False

# See http://scrapy.readthedocs.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
    'scrapy.pipelines.images.ImagesPipline':1}
ITEM_PIPELINES = {'scrapy.pipelines.images.ImagesPipeline': 1}

IMAGES_URLS_FIELD = 'img'
IMAGES_STORE = r'/home/lcy/pics'
LOG_FILE="scrapy.log"








                

        

    

    
  



    



                



	

		

			

				
					
爬取图片过程遇到的ValueError: Missing scheme in request url: h 报错与解决方法

				
			

			

				

					weixin_30323631的博客
				

				

					12-25
					
					818
					
				

			

		

		

			
				
一 、scrapy整体框架
1.1 scrapy框架图
　　

1.2 scrapy框架各结构解析
　　item：保存抓取的内容
　　spider：定义抓取内容的规则，也是我们主要编辑的文件
　　pipelines：管道作用，用来定义如何过滤、存储等功能（比如导出到csv或者mysql等功能）
　　settings：配置例如ITEM_PIPELINES 、图片存储位置等等功能
...

			
		

	



                

            
              



	

		

			

				
					
ValueError: Missing scheme in request url:  scrapy 爬取图片的报错解决方案

				
			

			

				

					sddr_circle的博客
				

				

					05-24
					
					1896
					
				

			

		

		

			
				
用python的scrapy框架爬取图片时，运行报错信息如下：


ValueError: Missing scheme in request url: //cdn.shopify.com/s/files/1/1182/9792/products/ARD1040_3_100x.jpg?v=1527112369
2018-05-24 23:02:44 [scrapy.core.scraper] ER...

			
		

	



              


  
              

                


	

		

			

				
					
scrapy 错误：Missing scheme in request url: %s' % self._url

				
			

			

				

					weixin_30872867的博客
				

				

					06-07
					
					562
					
				

			

		

		

			
				
先说报错原因：使用了和start_urls同名的参数
我通过scral crawl projename -a start_urls=http:example.com来传start_urls，然后想在项目中初始化spider类的时候，添加抓取URL，代码如下：
class xxxxSpider(CrawlSpider):
    name = 'xxxx'
    allowed_domains =...

			
		

	





	

		

			

				
					
ValueError: Missing scheme in request url: h

				
			

			

				

					繁城落叶
				

				

					06-03
					
					9193
					
				

			

		

		

			
				
相关URL必须是一个List，所以遇到该错误只需要将url转换成list即可。
例如：


start_urls = ['someurls']


如果是images_url也是如此，使用item存储的时候改成list即可。


item['images_urls'] = ['image_url']

			
		

	



		

			
		



	

		

			

				
					
raise ValueError('Missing scheme in request url: %s' % self._url) ValueError: Missing scheme in requ

				
			

			

				

					啦啦啦啦啦啦
				

				

					01-24
					
					1034
					
				

			

		

		

			
				
错误：raise ValueError(‘Missing scheme in request url: %s’ % self._url)
ValueError: Missing scheme in request url: h
解决办法：pipeline里面的i=imageurl需要放到一个列表里面，我写成了字符串，所以报错

...

			
		

	





	

		

			

				
					
scrapy坑一    ValueError('Missing scheme in request url: %s' % self._url)

				
			

			

				

					qiweiqian的博客
				

				

					04-12
					
					2897
					
				

			

		

		

			
				
之前在学习scrapy时曾碰到这样一个错误，如标题所示。查了一下，网上的答案基本上都是说start_urls应该是个list而不是string。但是我不是这个问题。我当时是在爬取的页面中，提取出的url被直接加载到了item中，因此在后面的yield request的时候，url=item['url']，然而这是错的。切记切记，item虽然很像dict，但不能直接当dict用。...

			
		

	





	

		

			

				
					
ValueError(f"Missing scheme in request url: {self._url}")

				
			

			

				

					06-11
				

			

		

		

			
				
这个错误通常是由于请求的 URL 中缺少协议（比如 http 或 https）导致的。例如，如果使用了一个类似于 "www.example.com" 的 URL，而没有指定协议，则...response = scrapy.Request(url=url, callback=self.parse) ```

			
		

	





	

		

			

				
					
Python之Scrapy初学问题集中（三）：难道爬取的网站对我有意见！！！

				
			

			

				

					wenquan19960602的博客
				

				

					03-14
					
					1046
					
				

			

		

		

			
				
文章目录开篇的牢骚出现问题的初始代码问题一： Missing scheme in request url:xxx.html几个月前的页面：现在的页面问题二：Missing scheme in request url: h两个问题的解决方案+完整代码祝大家爬虫成功，敲出更多的BUG，克服每一个BUG，让自己做一个优秀的没有BUG的程序员！！！我是新生代程序员“敲出亿行bug”
开篇的牢骚
你有没有自...

			
		

	





	

		

			

				
					
Scrapy源码分析（四）：请求Request

				
			

			

				

					zcy19941015的博客
				

				

					12-17
					
					6884
					
				

			

		

		

			
				
本次我们要分析的Scrapy源码为Request模块，模块的位置：
from scrapytest.http import Request
首先把Request的源码附上：
class Request(object_ref):

    def __init__(self, url, callback=None, method='GET', headers=None, body=None,


			
		

	





	

		

			

				
					
一、ValueError: Missing scheme in request url: h

				
			

			

				

					Norni的博客
				

				

					06-16
					
					695
					
				

			

		

		

			
				
用scrapy下载文件时报错：ValueError: Missing scheme in request url: h

通过分析发现，iamges_urls_field字段的参数为列表或其他可迭代对象，而我传入的是一个字符串，所有报错。

将出入的值修改为列表即可解决报错

...

			
		

	





	

		

			

				
					
Missing scheme in request url: h

				
			

			

				

					weixin_41931602的博客
				

				

					08-08
					
					3795
					
				

			

		

		

			
				




在使用python3.6中的scrapy爬取时遇到这个问题，Missing scheme in request url: h

意思就是starts_url必须是列表的形式

解决方法：将原来的start_url加上中括号，编程列表即可



 ...

			
		

	





	

		

			

				
					
scrapy中遇到的ValueError: Missing scheme in request url:问题解决

				
			

			

				

					Slim's Hello World
				

				

					10-18
					
					4938
					
				

			

		

		

			
				
昨天在爬寻医问药网站的时候出现了一个没有遇到过的问题：


ValueError: Missing scheme in request url:

查了百度，bings都没能解决，归纳起来网上的解决办法围绕的都是图片路径等详细问题，归根结底就是url并不完整，可以单纯地通过：
url = "http"+response.xpath("....")[0]

这样的方式解决。
解决办法
然鹅，我的代码...

			
		

	





	

		

			

				
					
ValueError('Missing scheme in request url: %s' % self._url)

				
			

			

				

					TalonZhang的博客
				

				

					03-27
					
					4091
					
				

			

		

		

			
				
问题描述
在使用scrapy框架时报错：
ValueError('Missing scheme in request url: %s' % self._url)

原因是 spider 文件传入的start_url地址必须是一个list，而我传入的是一个string。

解决方案
对start_url外面加一个[]。
例如：
start_url = "http://www.xxx.com"
# 改...

			
		

	





	

		

			

				
					
关于解决ValueError('Missing scheme in request url: %s' % self._url)

				
			

			

				

					qq_39209915的博客
				

				

					07-22
					
					8125
					
				

			

		

		

			
				
初级小白在写scrapy爬虫是遇到了，一个关于valueError的问题：



前期在网上找了跟多的资料，结果都是说关于一下几种解决方案：

--按提示是Request队列安排错误 
--有些说法是pywin32包没有安装到对应版本

其实归根结底的来说如果不是pywin32没有安装或者版本的错误的话，一般是start_url的问题，它应该是列表而不是元组，而关于列表，当列表中只有一个元素时最后...

			
		

	





	

		

			

				
					
“ValueError: Missing scheme in request url: xxxxxx”的终极解决方法：删除错误的url地址

				
			

			

				

					weixin_44444532的博客
				

				

					04-12
					
					1514
					
				

			

		

		

			
				
“ValueError: Missing scheme in request url: xxxxxx”的终极解决方法：删除错误的url地址
问题：ValueError: Missing scheme in request url:xxxxx，如下图：
分析：出现了错误的url地址，如’javascript:;’, ‘javascript:void(0);’，如下图：

上图是我的url地址列表（尚未补成绝对地址，请忽略此点），可见地址中有很多’javascript:;’, 'javascript:void(

			
		

	





	

		

			

				
					
ValueError: Missing scheme in request url: xxxxxx

					
热门推荐

				
			

			

				

					u014229742的博客
				

				

					08-26
					
					12万+
					
				

			

		

		

			
				
解决办法：prepend url with ‘http’ or ‘https’ 
start_urls = [“http://www.bow.com/“]

			
		

	





	

		

			

				
					
新版本scrapy爬取图片报错raise ValueError(f“Missing scheme in request url: {self._url}“)

					
最新发布

				
			

			

				

					jerses的博客
				

				

					10-18
					
					161
					
				

			

		

		

			
				
是由于使用新版本的scrapy不兼容。运行下面两行就解决了！

			
		

	





	

		

			

				
					
scrapy Missing scheme in request url

				
			

			

				

					qq_42636010的博客
				

				

					05-15
					
					313
					
				

			

		

		

			
				
今天在写爬虫的时候出现这个问题，报错为：
Traceback (most recent call last):
  File "E:\anaconda\Anaconda3\lib\site-packages\twisted\internet\defer.py", line 654, in _runCallbacks
    current.result = callback(current.res...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 2

	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值